მთავარი

BTU-ს მკვლევრების შეფასებით, AI აგენტის სასარგებლო შეზღუდვა უნდა გამკაცრდეს იქ, სადაც მოქმედების შედეგი ფართოვდება ან მისი გამოსწორება რთულდება. ქართულ ბიზნესს ეს მიდგომა აძლევს საშუალებას, აგენტს გადააბაროს რეალური სამუშაო ისე, რომ ყოველი ნაბიჯის კონტროლმა მიღებული სარგებელი არ გააქროს.

ძირითადი მიგნებები

• BTU-ს ანალიტიკური შეფასებით, აგენტის შეზღუდვის სიმკაცრე უნდა შეესაბამებოდეს კონკრეტული მოქმედების შესაძლო შედეგსა და შექცევადობას და არა მხოლოდ მოდელის ზოგად სიძლიერეს.
• აგენტის ხარისხის გამოცდამ ერთდროულად უნდა აჩვენოს, სრულდება თუ არა სასარგებლო დავალება და ირღვევა თუ არა დადგენილი საზღვრები არასრული, წინააღმდეგობრივი ან მავნე ინფორმაციის მიღებისას.
• საქართველოს კომპანიებისთვის პროპორციული დანერგვის პრაქტიკული საფუძველია მკაფიო სამუშაო სფერო, საჭირო მონაცემებზე წვდომა და ქართულენოვან რეალურ მოთხოვნებთან მიახლოებული ტესტირება; ეს თავისთავად ეკონომიკური სარგებლის გარანტია არ არის.

AI აგენტს ბიზნესისთვის ღირებულება მაშინ აქვს, როდესაც დავალების ნაწილის შესრულება შეუძლია. თუ თანამშრომელმა ყოველი ძიება, ყოველი შედარება და ყოველი შიდა ჩანაწერი თავიდან უნდა დაადასტუროს, კომპანია შეიძლება ახალი სამუშაო ინსტრუმენტის ნაცვლად დამატებით საკონტროლო ბიუროკრატიას იღებდეს. მეორე მხრივ, თავისუფლად მოქმედი აგენტი, რომელსაც ერთდროულად მრავალი წყაროს წაკითხვა და საერთო სისტემების შეცვლა შეუძლია, შეცდომას უფრო ფართოდაც გაავრცელებს. საკითხავია, როგორ დავტოვოთ სასარგებლო მოქმედება და შევზღუდოთ ის შედეგი, რომლის მიღებისთვისაც ბიზნესი ჯერ მზად არ არის.

აქ აგენტში ვგულისხმობთ AI სისტემას, რომელიც მიზნის მისაღწევად ირჩევს ნაბიჯებს და პროგრამულ ინსტრუმენტებს იყენებს. ერთი ასეთი ნაბიჯი შეიძლება მხოლოდ ინფორმაციის მოძიება იყოს, მეორე კი ისეთი ჩანაწერის შეცვლა, რომელსაც შემდეგ თანამშრომლები ან მომხმარებლები დაეყრდნობიან. ამიტომ აგენტისთვის ერთიანი შეფასება, მაგალითად „დაბალი რისკის დამხმარე“, ხშირად ზედმეტად ზოგადია. ერთსა და იმავე სამუშაოს სხვადასხვა ეტაპს განსხვავებული შედეგი აქვს და შესაბამისი საზღვარიც სჭირდება.

შეზღუდვა სამუშაოს უნდა მოერგოს

BTU-ს კვლევით მასალებში აგენტის ფუნქციის შევიწროება დაკავშირებულია მკაფიო შედეგთან, ხოლო უფლებების გაფართოება აუცილებლობასა და გამოცდას ეყრდნობა. ამ მიდგომის ანალიტიკური დამუშავება გვაძლევს მთავარ დასკვნას: კარგი შეზღუდვა საჭირო სამუშაოს განასხვავებს მის გვერდით შემთხვევით გახსნილი შესაძლებლობებისგან. აგენტს უნდა დარჩეს საკმარისი თავისუფლება კონკრეტული ამოცანის დასასრულებლად, მაგრამ სხვა პროცესზე გადასვლა მხოლოდ იმიტომ არ უნდა შეეძლოს, რომ შესაბამისი ღილაკი ხელმისაწვდომია.

მაგალითად, პროდუქტის აღწერების მოწესრიგება შეიძლება მოითხოვდეს მომწოდებლის მასალის წაკითხვას, სხვადასხვა ვერსიის შედარებას და გაურკვეველი მონაცემების გამოყოფას. ამ სამუშაოსთვის ყველა მომხმარებლის ისტორიის დანახვა საჭირო არ არის. ზედმეტი ინფორმაცია აქ მხოლოდ კონფიდენციალურობის საკითხს არ ქმნის: მას შეუძლია აგენტის ყურადღება არარელევანტურ მიმართულებაზე გადაიტანოს და გაართულოს იმის გარკვევა, რომელ წყაროს ეყრდნობა საბოლოო შედეგი. ფუნქციის სწორად განსაზღვრა ინფორმაციის არჩევასაც ამარტივებს.

რისკების ახლებურ შეფასებას ეყრდნობა NIST-ის ხელოვნური ინტელექტის რისკების მართვის სარეკომენდაციო ჩარჩოც: ჩარჩო კონტექსტსა და შესაძლო ზემოქმედებას ანიჭებს მნიშვნელობას და ერთიან მისაღებ რისკს არ ადგენს. ეს არის მართვის მეთოდოლოგიური საყრდენი და არა საქართველოს კომპანიებისთვის ამ სტატიით დაწესებული სამართლებრივი მოთხოვნა. [1]

შედეგი ცვლის ზღვარს

განვიხილოთ საილუსტრაციო შემთხვევა და არა საქართველოში გაზომილი პილოტი. სავაჭრო კომპანიის აგენტი მომწოდებლების მასალებიდან პროდუქტის ქართულ აღწერებს ამზადებს. სანამ შედეგი მხოლოდ სამუშაო მონახაზია, მცდარი ზომის ან მახასიათებლის აღმოჩენა და შესწორება შედარებით მარტივია. თუ იგივე ჩანაწერი საერთო კატალოგში მოხვდა, მას შეიძლება გაყიდვების გუნდი დაეყრდნოს. საჯარო გვერდზე გადატანის შემდეგ კი შეცდომას უკვე მომხმარებლის არჩევანზეც შეუძლია გავლენა მოახდინოს.

ტექსტის დაწერის სირთულე ამ ეტაპებს შორის შეიძლება თითქმის არ იცვლებოდეს. იცვლება შედეგის გავრცელება. ამიტომ საზღვრის სიმკაცრეს მხოლოდ ის ვერ განსაზღვრავს, რამდენად კარგად წერს მოდელი ქართულად. მნიშვნელოვანია, ვინ ნახავს ჩანაწერს, რას გააკეთებს მის საფუძველზე და მოესწრება თუ არა უზუსტობის გასწორება მანამდე, სანამ სხვების მოქმედებაზე აისახება. ტექნიკურად უკან დაბრუნებადი ცვლილებაც შეიძლება უკვე გამოყენებული იყოს.

ამ მაგალითში აგენტს შეიძლება შეეძლოს დამტკიცებულ წყაროებში დამოუკიდებლად ძიება და მონახაზის გადამუშავება, მაგრამ საერთო კატალოგში მხოლოდ წინასწარ განსაზღვრული ველების შეცვლა. საჯარო ინფორმაციის შეცვლას კი განსხვავებული კონტროლი დასჭირდეს. ასეთი გამიჯვნა ყოველ წინადადებაზე თანხმობის მოთხოვნისგან განსხვავდება: შემოწმების ყურადღება გადადის იმ მომენტზე, როდესაც შიდა სამუშაო სხვა ადამიანებისთვის მოქმედების საფუძველი ხდება.

ერთი სამუშაოს განსხვავებული შედეგები

BTU-ს ანალიტიკური შედარება. საილუსტრაციო სამუშაო; არა გაზომილი პილოტი ან უნივერსალური რისკის კლასიფიკაცია.

შექცევადობა მხოლოდ ფაილის ძველი ვერსიის შენახვას არ ნიშნავს. თუ არასწორი აღწერა სხვა სისტემამ უკვე გადაიტანა, წყაროს გასწორება ყველა ასლს ავტომატურად ვერ გაასწორებს. თუ თანამშრომელმა ამ აღწერით მომხმარებელს უპასუხა, კატალოგის ცვლილება საუბრის შედეგს ვერ წაშლის. სწორედ ამიტომ მცირე საცდელი სფერო სასარგებლოა: ბიზნესს უმარტივდება დაინახოს, სად მიდის აგენტის შედეგი და რამდენად სრულად შეუძლია შეცდომის გამოსწორება.

კითხვის უფლებაც ყოველთვის უვნებელი არ არის. აგენტმა შეიძლება მონაცემი საერთოდ არ შეცვალოს, მაგრამ კონფიდენციალური ინფორმაცია არასათანადო პასუხში ან გარე სერვისთან კომუნიკაციაში გამოიყენოს. ამიტომ სამუშაოს ფარგლები მოიცავს როგორც იმას, რისი შეცვლა შეიძლება, ისე იმასაც, რისი ნახვა და სად გადატანაა საჭირო. „მხოლოდ კითხვა“ სასარგებლო საწყისი რეჟიმია, თუმცა ყველა შესაძლო შედეგს ვერ აკონტროლებს.

წესი ინსტრუმენტშიც უნდა მოქმედებდეს

ინსტრუქცია აგენტს ეხმარება გაიგოს, რას ელოდება კომპანია. მაგრამ წინადადება „კატალოგის სხვა ნაწილი არ შეცვალო“ უფრო სუსტი დაცვაა, თუ დაკავშირებული სისტემა მაინც ნებისმიერი ჩანაწერის შეცვლის შესაძლებლობას აძლევს. OWASP-ის მითითება ზედმეტი მოქმედების თავისუფლებაზე განასხვავებს ზედმეტ ფუნქციებს, უფლებებსა და ავტონომიას და მოქმედების შემოწმებას დაკავშირებულ სისტემაშიც მოითხოვს. [2]

ბიზნესის ენაზე ეს ნიშნავს, რომ შეთანხმებული სამუშაოს ფარგლები პროგრამის მოწყობაშიც უნდა ჩანდეს. პროდუქტის მონახაზებისთვის განკუთვნილი სივრცე რეალური კატალოგისგან განცალკევებული იყოს; შეცვლის ინსტრუმენტმა მხოლოდ შესაბამისი ჩანაწერები მიიღოს; შედეგი მხოლოდ საჭირო დანიშნულების ადგილას გადავიდეს. ეს კონკრეტული არქიტექტურის უნივერსალური რეცეპტი არ არის. მნიშვნელოვანია, რომ შეზღუდვა მხოლოდ აგენტის მიერ წესის გახსენებაზე არ იყოს დამოკიდებული.

ფარგლები მოქმედებების რაოდენობასაც ეხება. ერთი პროდუქტის აღწერის განახლება და მთელი კატალოგის ერთდროულად შეცვლა განსხვავებულ შემოწმებას საჭიროებს. რიცხვითი ზღვარი ბიზნესმა სამუშაოს მოცულობასა და შესაძლო შედეგს უნდა მოარგოს; ყველა კომპანიისთვის ერთი „უსაფრთხო რაოდენობა“ ვერ იარსებებს. მთავარი ის არის, რომ მცირე დავალება შეუმჩნევლად მასობრივ ცვლილებად არ იქცეს. ზედმეტად ფართო წვდომის ნაცვლად მცირე, გასაგები ოპერაციების შესაძლებლობა ხშირად შემოწმებასაც ამარტივებს.

კარგმა გამოცდამ მარცხიც უნდა აჩვენოს

შეზღუდვის ღირებულება ჩვეულებრივ მოთხოვნაზე წარმატებული პასუხით ვერ დგინდება. აგენტს შეიძლება სწორი აღწერა გამოჰქონდეს, სანამ ორი წყარო ერთმანეთს არ ეწინააღმდეგება. ამ დროს უნდა გამოჩნდეს, აღნიშნავს გაურკვევლობას თუ სიცარიელეს დამაჯერებელი ვარაუდით ავსებს. თუ მომწოდებლის დოკუმენტში დამალული მითითება სხვა მოქმედებისკენ უბიძგებს, უნდა შემოწმდეს, რჩება თუ არა სისტემა დავალების ფარგლებში. ასეთ მცდელობას არაპირდაპირი ,,პრომპტ-ინექცია” ეწოდება: სამუშაოდ წაკითხული ტექსტი ცდილობს მართვის ინსტრუქციად იქცეს.

,,AgentDojo”-ს 2024 წლის თავდაპირველი კვლევა ერთმანეთისგან გამოყოფს დავალების შესრულებასა და შეტევის წარმატებას. მის ტესტურ გარემოში ზოგი დაცვა სასარგებლო მოქმედებასაც აფერხებდა, ხოლო ინსტრუმენტების შეზღუდვას გარკვეულ შემთხვევებში საზღვრები ჰქონდა. ეს შედეგები მეთოდის არჩევისთვის არის მნიშვნელოვანი და არა დღევანდელი მოდელების ან საქართველოს კომპანიების დაზიანების ალბათობის გამოსათვლელად. [3]

აქედან პრაქტიკული დასკვნა ორმხრივია. თუ აგენტი არასდროს ცვლის არაფერს, შეიძლება ბევრი დაუშვებელი მოქმედება მართლაც ვერ შეასრულოს, მაგრამ მისთვის მინდობილი სამუშაოც შეუსრულებელი დარჩეს. თუ ყველაფერს სწრაფად ასრულებს, მხოლოდ სისწრაფე ვერ გვიჩვენებს, რამდენჯერ გამოიყენა დაუდასტურებელი ინფორმაცია. შეფასებისას საჭიროა ერთსა და იმავე დავალებაზე ვნახოთ სასარგებლო შედეგიც და საზღვრის დაცვაც. მხოლოდ დაბლოკილი მოთხოვნების სიმრავლე წარმატების საზომად არ გამოდგება.

BTU-ს ტესტირების მასალები ცალკე განიხილავს არასრულ ინფორმაციას, ინსტრუმენტის შეფერხებას, ქართულ ენას და ცვლილების შემდეგ განმეორებით შემოწმებას. ამ საფუძველზე კატალოგის მაგალითში გამოსაცდელია მოძველებული აღწერა, ერთმანეთის მსგავსი პროდუქტის სახელები და დროებით მიუწვდომელი წყარო. ეს შემთხვევები აჩვენებს, სად სჭირდება აგენტს უკეთესი მონაცემი და სად არის საჭირო უფრო ვიწრო მოქმედება. ყველა პრობლემაზე დამატებითი აკრძალვის დაწესება მიზეზებს ერთმანეთში აურევდა.

რატომ არის ეს მნიშვნელოვანი ქართული ბიზნესისთვის

საქართველოს ბიზნესასოციაციის 2026 წლის მეორე კვარტლის კვლევაში გამოკითხული წევრი კომპანიებისა და მათ ჯგუფებში შემავალი კომპანიების 47% AI-ის შესწავლას ან დაგეგმვას აღნიშნავდა, 13% კი ერთ ან რამდენიმე პროცესში სრულ ინტეგრაციას. ეს ასოციაციის კვლევის მოცვაა და არა ყველა ქართული საწარმოს მაჩვენებელი; კვლევა ზოგადად AI-ს ეხება და არა მხოლოდ აგენტებს. [4]

ამ ეტაპზე მყოფი კომპანიისთვის კითხვა ხშირად ჯერ კიდევ არის, სად დაიწყოს. აგენტის ყველა პროცესზე ერთდროულად გაშვება მოითხოვს ბევრი სხვადასხვა გამონაკლისის გაგებას. ერთი დასრულებული სამუშაო სფეროს არჩევა კი აჩენს შესადარებელ შედეგს: რა მოამზადა სისტემამ, რისი შესწორება გახდა საჭირო და რამდენი დამატებითი ყურადღება მოითხოვა. ასე გადაწყვეტილება მხოლოდ შთამბეჭდავ პრეზენტაციას აღარ ეყრდნობა.

ქართულ გარემოში გამოცდა იმავე ენასა და ფორმებში უნდა ჩატარდეს, რომლითაც თანამშრომლები იმუშავებენ. კატალოგში შეიძლება თანაარსებობდეს ქართული დასახელება, უცხოური მწარმოებლის სახელი და განსხვავებული შემოკლება. ერთ მათგანზე სწორი შედეგი მეორეზე ხარისხს ავტომატურად არ ადასტურებს. ამიტომ მომწოდებლის დემონსტრაციიდან მიღებული შთაბეჭდილება უნდა შეივსოს კომპანიის საკუთარ, უსაფრთხოდ მომზადებულ მაგალითებზე დაკვირვებით. ეს რეკომენდაცია ადგილობრივ გამოყენებას ეხება და არ ამტკიცებს, რომ ყველა მოდელი ქართულად ერთნაირად მუშაობს.

მცირე გუნდისთვის კონტროლის ეკონომიკაც მნიშვნელოვანია. თუ მიღებული მონახაზის გასწორებას იმდენივე სამუშაო სჭირდება, რამდენიც მის თავიდან მომზადებას, ფორმალურად შესრულებული დავალება სარგებლის საკმარისი მტკიცებულება არ იქნება. მაგრამ გამოსავალი ყოველთვის შეზღუდვის მოხსნა არ არის: შესაძლოა სამუშაოს სფერო, წყაროების ხარისხი ან შედეგის ფორმა უნდა შეიცვალოს. ჯერ გასაგები უნდა გახდეს, რატომ ვერ მიიღო თანამშრომელმა გამოსაყენებელი შედეგი.

თავისუფლება უნდა გაიზარდოს მტკიცებულებასთან ერთად

,,Anthropic”-ის აგენტების დიზაინის სახელმძღვანელო მარტივი გადაწყვეტით დაწყებას და სირთულის მხოლოდ საჭიროებისას გაზრდას ურჩევს, აგენტებისთვის კი დაცულ საცდელ გარემოში გამოცდას უსვამს ხაზს. [5] ამ ლოგიკის ბიზნესზე გადატანისას მთავარი კითხვაა, რა ახალ სარგებელს მოიტანს კონკრეტული შეზღუდვის შემსუბუქება და რა ახალი შედეგი გახდება შესაძლებელი.

კარგად მომუშავე მონახაზის შექმნა ჯერ კიდევ არ ამტკიცებს საჯარო კატალოგის დამოუკიდებლად მართვის მზადყოფნას. ახალი უფლების დამატებით იცვლება შესამოწმებელი ამოცანაც. დადებითი ტესტი შეზღუდვის შეცვლის გადაწყვეტილებას საფუძველს აძლევს, მაგრამ ახალ უფლებას ავტომატურად არ ქმნის. კომპანიას შეუძლია შეაფასოს სწორედ ეს დამატება, ნაცვლად იმისა, რომ აგენტს თანდათან ყველა წვდომა დაუგროვოს. ასე შეზღუდვა მუდმივი აკრძალვების ერთობლიობად არ იქცევა; იგი უკავშირდება იმას, რაც უკვე შემოწმებულია და იმასაც, რაც ჯერ დასადგენია.

სწორად შეზღუდული აგენტი კონკრეტულ სამუშაოს ასრულებს საკმარისი თავისუფლებით, ხოლო შედეგის გაფართოებასთან ერთად უფრო მკაცრ კონტროლს ხვდება. BTU-ს მკვლევრების შეფასებით, ეს მიდგომა ქართულ ბიზნესს ეხმარება ტექნოლოგიის სარგებელი რეალურ გამოყენებაში შეამოწმოს ისე, რომ უსაფრთხოება სრული უმოქმედობით არ ჩაანაცვლოს. მიზანი მაქსიმალურად ცოტა მოქმედება კი არა, გასაგებ ფარგლებში მიღებული სასარგებლო შედეგია.

კითხვები და პასუხები

საკმარისია აგენტს დეტალური ინსტრუქცია მივცეთ?

არა. ინსტრუქციას უნდა შეესაბამებოდეს მონაცემებსა და პროგრამულ მოქმედებებზე რეალური წვდომაც, განსაკუთრებით მაშინ, როცა შედეგი სამუშაო მონახაზის ფარგლებს სცდება.

მხოლოდ კითხვის უფლება ყველა რისკს ამცირებს ნულამდე?

არა. მონაცემის შეცვლის შესაძლებლობა იზღუდება, მაგრამ წაკითხული ინფორმაციის არასათანადო გამოყენება ან გამჟღავნება მაინც გასათვალისწინებელია.

როდის შეიძლება შეზღუდვის შემსუბუქება?

როდესაც კონკრეტული დამატებითი მოქმედების საჭიროება გასაგებია და მისი სასარგებლო შედეგი, შესაძლო შეცდომა და კონტროლი შესაბამის გარემოში შემოწმებულია.

უცხოური ტესტის შედეგი ქართულ კომპანიასაც ეხება?

კვლევა ეხმარება კომპანიას ტესტის შერჩევაში, თუმცა ადგილობრივ ენაზე, საკუთარ წყაროებსა და დაკავშირებულ სისტემებში მუშაობა ცალკე უნდა შემოწმდეს.