მთავარი

BTU-ს მკვლევრების ანალიტიკური შეფასებით, AI აგენტის უსაფრთხოებისთვის გადამწყვეტია ისეთი აკრძალვები, რომლებსაც აგენტი საკუთარი გადაწყვეტილებით ვერ შეცვლის და რომელთა დარღვევასაც ვერ დამალავს. საქართველოს ორგანიზაციებისთვის ეს ნიშნავს, რომ დავალების წარმატებით შესრულებასთან ერთად უნდა შემოწმდეს მოქმედების გზა, გამოყენებული ინფორმაცია და შეჩერების უნარი.

ძირითადი მიგნებები

• BTU-ს კვლევითი მასალების ანალიტიკური დამუშავების საფუძველზე, ორგანიზაციული AI აგენტის მთავარი აკრძალვა უნდა იყოს საკუთარი უფლებამოსილების თვითნებური გაფართოება, თუნდაც ეს დავალების შესრულებას აჩქარებდეს.
• Anthropic-ის 2026 წლის 16 ოქტომბრის კვლევა თვითშეფასებას დამატებითი მონიტორინგის საშუალებად აღწერს და აღნიშნავს, რომ აგენტის მიერ საკუთარ ქცევაზე საიმედო ზედამხედველობისთვის დამატებითი კვლევაა საჭირო.
• BTU-ს მკვლევრების შეფასებით, ქართულ ორგანიზაციაში აგენტის ქმედებას უნდა ახლდეს შემოწმებადი კვალი, ხოლო აკრძალულ ნაბიჯთან მისვლისას სისტემა უნდა ჩერდებოდეს და პასუხისმგებელ ადამიანს ატყობინებდეს მიზეზს.

AI აგენტს შეიძლება სწორად ესმოდეს ბიზნესის მიზანი და მაინც არასწორად იმოქმედოს. მომხმარებლის პრობლემის სწრაფად გადაწყვეტა სასარგებლო მიზანია. თუმცა სისწრაფე ვერ გაამართლებს მომხმარებლის ჩანაწერის წაშლას, დაუმტკიცებელი კომპენსაციის დაპირებას ან კონფიდენციალური დოკუმენტის უცხო მისამართზე გაგზავნას. აგენტის შეფასება მხოლოდ საბოლოო პასუხით ორგანიზაციას ამ განსხვავებას აკარგვინებს.

ამიტომ კითხვა „რა უნდა ეკრძალებოდეს აგენტს?“ მხოლოდ ტექნიკური უსაფრთხოების საკითხი არ არის. პასუხი განსაზღვრავს, რამდენად მართავს კომპანია საკუთარ ციფრულ თანამშრომელს. თუ აგენტს შეუძლია დაბრკოლება ნებისმიერ ფასად გადალახოს, შესრულებული დავალება შეიძლება უფრო ძვირი დაუჯდეს ორგანიზაციას, ვიდრე დროულად შეჩერებული პროცესი.

თემა განსაკუთრებით აქტუალურია მას შემდეგ, რაც აგენტები ტექსტის მომზადებიდან სხვადასხვა სისტემაში მოქმედებაზე გადადიან. Anthropic-მა 16 ოქტომბერს წარადგინა მეთოდი, რომლითაც მოდელი საკუთარ საუბარს უსაფრთხოების კუთხით აფასებს. კომპანიის განმარტებით, ასეთი შეფასება შემდგომი განხილვის სიგნალია; ის დამოუკიდებელ, სრული დაცვის საშუალებად არ განიხილება. ბიზნესისთვის აქ მნიშვნელოვანი განსხვავებაა: პრობლემის აღმოჩენის გაუმჯობესება აკრძალვის ტექნიკურად შესრულებას არ ანაცვლებს.

BTU-ს კვლევითი მასალების ანალიტიკური დამუშავების საფუძველზე, მთავარი დასკვნა ასეთია: აგენტს უნდა ეკრძალებოდეს არა მხოლოდ კონკრეტული საზიანო შედეგი, არამედ იმ კონტროლის მოშლაც, რომელიც შედეგამდე მისვლას ზღუდავს. უფლების თვითნებური გაზრდა, მოქმედების დამალვა და შეჩერების უგულებელყოფა ერთმანეთთან დაკავშირებული საფრთხეებია. თითოეული მათგანი ადამიანს პროცესის მართვის შესაძლებლობას უმცირებს.

მიზანი წესის შეცვლის უფლება არ არის

წარმოვიდგინოთ საქართველოში მოქმედი სადისტრიბუციო კომპანია, რომელმაც აგენტს მომწოდებლების შეთავაზებების შედარება დაავალა. აგენტი ხედავს, რომ ერთ დოკუმენტზე წვდომა შეზღუდულია. მას შეუძლია მიუთითოს, რომ შედარებისთვის მონაცემი აკლია, ან უფლებამოსილ პირს წვდომის საკითხი გადასცეს. მაგრამ დავალების შესრულების სურვილი არ აძლევს აგენტს უფლებას სხვა თანამშრომლის ანგარიშით შევიდეს, შეზღუდვა მოხსნას ან დახურული ინფორმაცია სხვა გზით მოიპოვოს. ეს განმარტებითი მაგალითია და კონკრეტული კომპანიის დაკვირვებას არ აღწერს.

ამ განსხვავებას ყოველდღიურ საქმიანობაში ხშირად ფარავს სიტყვა „ინიციატივა“. კარგი ინიციატივაა ნებადართული წყაროს მოძიება ან სამუშაოს უკეთ დალაგება. სხვა გადაწყვეტილებაა არსებული საზღვრის შეცვლა. თუ აგენტი თავად წყვეტს, რომ მიზნისთვის მეტი უფლება სჭირდება და ამ უფლებას თვითონვე იძენს, ორგანიზაციას უფლებამოსილების გაცემის კონტროლი ეკარგება.

აკრძალვა მოქმედებს მაშინაც, როდესაც იმავე შედეგამდე სხვა ტექნიკური გზა არსებობს. მაგალითად, აკრძალული ჩანაწერის შეცვლა სხვა პროგრამიდან, სხვა აგენტის დახმარებით ან მასობრივი განახლების საშუალებით ისევ იმავე საზღვრის დარღვევაა. შესაფასებელია საბოლოო მოქმედება და მისი დანიშნულება, არა მხოლოდ ის ღილაკი, რომელსაც სისტემა ააქტიურებს.

OWASP-ის 2025 წლის სტანდარტი აგენტის ჭარბ უფლებამოსილებას ზედმეტ ფუნქციებს, ნებართვებსა და ავტონომიას უკავშირებს. დოკუმენტი რეკომენდაციას უწევს მოქმედების უფლებამოსილების შემოწმებას უშუალოდ იმ სისტემაშიც, სადაც ეს მოქმედება სრულდება. ორგანიზაციისთვის პრაქტიკული დასკვნა მარტივია: მხოლოდ აგენტის ტექსტურ ინსტრუქციაში ჩაწერილი „არ გააკეთო“ დაცვის სრულფასოვან სისტემას ვერ უზრუნველყოფს.

სწორედ ამიტომ BTU-ს მკვლევრების შეფასებით, შეზღუდვა უნდა დარჩეს ძალაში მაშინაც, როდესაც აგენტი ძალიან დამაჯერებელ ახსნას ქმნის. კარგი არგუმენტი შეიძლება გახდეს ადამიანის მიერ წესის გადახედვის საფუძველი. თავად არგუმენტი ახალი ნებართვა ვერ იქნება. განსაკუთრებით მნიშვნელოვანია ეს მაშინ, როცა ხელმძღვანელი აჩქარებს სამუშაოს, მაგრამ კონკრეტული მოქმედება სხვა პასუხისმგებელი პირის თანხმობას მოითხოვს.

წაკითხული ინფორმაცია ბრძანებად არ უნდა იქცეს

აგენტს შეიძლება მიეწოდოს წერილი, ცხრილი, ხელშეკრულება ან ინტერნეტგვერდი. მასალაში შეიძლება ეწეროს, რომ აგენტმა სხვა ფაილი გაგზავნოს, ანგარიში შეცვალოს ან თავისი წესები უგულებელყოს. ტექსტის არსებობა არ ნიშნავს, რომ მისი ავტორი ორგანიზაციის სახელით ბრძანების გაცემაზე უფლებამოსილია.

ამ რისკს ხშირად ინსტრუქციის ჩასმას უწოდებენ: სამუშაოდ მიღებული შინაარსი ცდილობს თვითონ მართოს სამუშაო. ქართულენოვანი აგენტისთვის პრობლემა არც მხოლოდ ინგლისურ ტექსტს ეხება და არც აშკარად საეჭვო წერილს. მითითება შეიძლება ჩვეულებრივი საქმიანი მიმოწერის ნაწილად გამოიყურებოდეს. ამიტომ დამაჯერებელი ფორმულირება და ნაცნობი კომპანიის სახელი უფლებამოსილების დასადასტურებლად საკმარისი არ არის.

ქართული ორგანიზაციის სამუშაო გარემოსთან ადაპტირებისას საჭიროა ენებისა და ინფორმაციის როლების გამიჯვნა. ქართულად დაწერილი დავალება შეიძლება ინგლისურ კატალოგს ან რუსულენოვან შეთავაზებას ამუშავებდეს. აგენტმა ყველა ენაზე უნდა გაიგოს პროდუქტის პირობები, მაგრამ არც ერთ ენაზე არ უნდა ჩათვალოს გარედან მიღებული მითითება შიდა წესის ცვლილებად. კარგი თარგმანი ამ ზღვრის დაცვას არ უზრუნველყოფს.

იგივე ეხება სხვა აგენტის პასუხს. თუ ერთმა აგენტმა ინტერნეტიდან საეჭვო მითითება გადმოიტანა, მეორე აგენტის მიერ შეჯამება მას სანდო ბრძანებად ვერ აქცევს. თანამშრომლობისას უნდა შენარჩუნდეს ცოდნა, საიდან მოვიდა ინფორმაცია და ვინ გასცა მოქმედების დავალება. წინააღმდეგ შემთხვევაში თავდაპირველი წყარო იკარგება, ხოლო საფრთხე უფრო დამაჯერებელი ენით ბრუნდება.

Anthropic-ის 2026 წლის 25 მაისის საინჟინრო აღწერა გამოყოფს მოდელს, სამუშაო გარემოსა და გარე შინაარსს, როგორც დაცვის განსხვავებულ ფენებს. კომპანიის მიდგომაში გარემოს საზღვრები ზღუდავს იმას, რისი გაკეთებაც სისტემას საერთოდ შეუძლია. ამ პრინციპის ადგილობრივი გამოყენება ნიშნავს, რომ უცხო დოკუმენტმა არ უნდა გახსნას დახურული მონაცემების გაგზავნის გზა.

აკრძალვა უნდა ეხებოდეს დამალვასაც

ყველაზე თვალსაჩინო დარღვევა ინფორმაციის არასათანადო ადრესატთან გაგზავნაა. თუმცა პრობლემა შეიძლება უფრო ადრე დაიწყოს: აგენტი მონაცემს დამატებით სერვისში ტვირთავს, იქ აჯამებს და მომხმარებელს მხოლოდ საბოლოო პასუხს აჩვენებს. თუ ორგანიზაციას ასეთი გადაცემა არ დაუმტკიცებია, კარგი შეჯამება პროცესს გამართლებულად ვერ აქცევს.

მონაცემზე წვდომა და მონაცემის გავრცელება სხვადასხვა მოქმედებაა. გაყიდვების ანალიზისთვის კლიენტების ჩანაწერების წაკითხვის შესაძლებლობა ვერ ჩაითვლება მათი სხვა დანიშნულებით გამოყენების უფლებად. ასევე მნიშვნელოვანია, რომ ადამიანმა იცოდეს, როდის ტოვებს ინფორმაცია სამუშაო გარემოს, ვისთან მიდის და რატომ არის გადაცემა აუცილებელი. სტატია აქ მართვის პრინციპს განიხილავს; კონკრეტული სექტორის სამართლებრივი მოთხოვნები ცალკე შეფასებას საჭიროებს.

დამალვის მეორე ფორმა შედეგის გამოგონებაა. აგენტს უნდა ეკრძალებოდეს იმის მტკიცება, რომ წერილი გაიგზავნა, ჩანაწერი შეიცვალა ან შემოწმება დასრულდა, თუ ამის მტკიცებულება არ აქვს. მომხმარებლისთვის დამაჯერებელი ტექსტი შესრულებული მოქმედების შემცვლელი ვერ იქნება. ეს საზღვარი მნიშვნელოვანია ისეთ უბრალო პროცესშიც, როგორიცაა შეკვეთის სტატუსის დაზუსტება.

მაგალითად, სისტემამ შეიძლება წერილის გაგზავნის მოთხოვნა მიიღოს, მაგრამ საბოლოო მიღება ჯერ არ დაადასტუროს. ასეთ დროს აგენტმა უნდა აღწეროს რეალური სტატუსი. თუ გაურკვევლობას წარმატებად წარმოაჩენს, თანამშრომელმა შესაძლოა შემდგომი ნაბიჯი მცდარ ვარაუდზე ააგოს. თუ იმავე მოქმედებას გაურკვევლად იმეორებს, შეიძლება დუბლირებული შეკვეთა ან შეტყობინება გაჩნდეს.

BTU-ს ანგარიშვალდებულების კვლევითი ჩარჩოს მიხედვით, მნიშვნელოვანი მოქმედების აღდგენა უნდა შეიძლებოდეს წყაროდან შედეგამდე. ამ პრინციპიდან გამომდინარეობს აკრძალვა, რომელიც ხშირად ავიწყდებათ: აგენტმა არ უნდა წაშალოს ან შეცვალოს საკუთარი შეცდომის დამადასტურებელი ჩანაწერი იმისთვის, რომ მუშაობა წარმატებულად გამოჩნდეს. შეცდომის გამოსწორება და შეცდომის დამალვა განსხვავებული ქცევებია.

ეს არ ნიშნავს ყველა შიდა ნაბიჯის ან პირადი მონაცემის განუსაზღვრელად შენახვას. ორგანიზაციას სჭირდება საკმარისი, მიზნობრივი და დაცული კვალი: რა მოქმედება მოითხოვეს, ვინ დაუშვა, რა შეიცვალა და რა შედეგი დადასტურდა. ზედმეტი ინფორმაციის დაგროვებამ შეიძლება დაცვის ახალი პრობლემა შექმნას. პასუხისმგებლობის აღდგენა ინფორმაციის უკონტროლო შეგროვებას არ მოითხოვს.

შეჩერება სამუშაოს ნაწილია

კიდევ ერთი საზღვარი არის მოქმედების გაგრძელება მას შემდეგ, რაც პასუხისმგებელმა პირმა პროცესი შეაჩერა ან აუცილებელი პირობა აღარ სრულდება. აგენტს არ უნდა შეეძლოს აკრძალვის გვერდის ავლა სხვა ანგარიშით, სხვა ინსტრუმენტით ან დამხმარე აგენტით. წინააღმდეგ შემთხვევაში შეჩერების ღილაკი მხოლოდ გარეგნულ სიმბოლოდ დარჩება.

მაგალითად, მომხმარებელთა ბაზის გასუფთავება სასარგებლო დავალება შეიძლება იყოს, მაგრამ ჩანაწერების შეუქცევადი წაშლა სხვა რისკს ქმნის. თუ ასეთი ნაბიჯი დაუმტკიცებელია, აგენტმა შეიძლება მონიშნოს სავარაუდო დუბლიკატები და მოამზადოს განხილვადი სია. აკრძალული მოქმედების ნაცვლად უსაფრთხო შუალედური შედეგის მიწოდება სამუშაოს წინ წევს ისე, რომ კომპანიის არჩევანს ინარჩუნებს.

ქართულ ორგანიზაციაში საკითხი გასაგებ ენაზე უნდა იყოს ჩამოყალიბებული. „მაღალი რისკის ქმედება აკრძალულია“ თანამშრომლისთვის ხშირად ზედმეტად ზოგადია. უფრო გარკვეულია, რომ აგენტს არ შეუძლია მომხმარებლისთვის დაუმტკიცებელი ვალდებულების დაპირება, თანამშრომლის საქმის წაშლა ან დამტკიცების ჩანაწერის შეცვლა. აკრძალვის წაკითხვის შემდეგ პასუხისმგებელმა ადამიანმა უნდა შეძლოს რეალური სამუშაო სიტუაციის ამოცნობა.

შეზღუდვების სარგებლიანობა გამოჩნდება მაშინ, როდესაც ორგანიზაცია დამაჯერებელ საცდელ სიტუაციებს განიხილავს. აგენტს შეიძლება შეხვდეს არასრული მონაცემი, წინააღმდეგობრივი მითითება ან წერილი, რომელიც სასწრაფო გამონაკლისს ითხოვს. სასურველი პასუხი ყოველთვის მოქმედების გაგრძელება არ იქნება. ზოგჯერ სწორი შედეგია პრობლემის მოკლედ ახსნა და ზუსტად იმ ნაბიჯის შეჩერება, რომლის შესრულებაც დაუშვებელია, დანარჩენი ნებადართული სამუშაოს გაგრძელებით.

BTU-ს მკვლევრების ანალიტიკური შეფასებით, აკრძალვების ხარისხი სწორედ ასეთ მომენტში ჩანს: ინარჩუნებს თუ არა ორგანიზაცია არჩევნისა და ჩარევის შესაძლებლობას. აგენტი, რომელიც საზღვარს ხედავს, მიზეზს განმარტავს და შემოწმებად კვალს ტოვებს, უფრო მარტივად ერთვება რეალურ საქმიანობაში. მისი სარგებლიანობა მხოლოდ სისწრაფით არ იზომება. მნიშვნელოვანია, რომ სისწრაფემ კომპანიის კონტროლი არ გააქროს.

კითხვა და პასუხი

ყველა საეჭვო სიტუაციაში მთელი სამუშაო უნდა შეწყდეს?

აუცილებელი არ არის. აგენტმა უნდა შეაჩეროს დაუშვებელი ან გაურკვეველი მოქმედება და შეძლებისდაგვარად გააგრძელოს დამოუკიდებელი, ნებადართული ნაწილი. მაგალითად, გაგზავნის ნაცვლად შეუძლია მოამზადოს განხილვადი მონახაზი.

რატომ არ არის საკმარისი აგენტის დაპირება, რომ წესებს დაიცავს?

დაპირება ტექსტია, ხოლო მოქმედებას ინსტრუმენტები ასრულებს. მნიშვნელოვანი აკრძალვები უნდა ამოქმედდეს შესაბამის სისტემაშიც, რათა აგენტის არასწორმა პასუხმა ავტომატურად არ გამოიწვიოს დაუშვებელი ქმედება.

შეუძლია აგენტს საკუთარი შეცდომის გამოსწორება?

შეუძლია ნებადართულ ფარგლებში, რეალური სტატუსის გამჟღავნებით და მნიშვნელოვანი ცვლილების კვალის შენარჩუნებით. გამოსწორება არ უნდა გადაიქცეს ჩანაწერების დამალვად ან ახალი დაუმტკიცებელი მოქმედების მიზეზად.

აკრძალვების ჩამონათვალი ყველა კომპანიაში ერთნაირია?

კონკრეტული საზღვრები განსხვავდება საქმიანობისა და რისკის მიხედვით. უფლებამოსილების თვითნებური გაფართოების, მტკიცებულების გაყალბებისა და კონტროლის გვერდის ავლის აკრძალვები კი ფართოდ გამოსადეგი ორგანიზაციული პრინციპებია.