ქართული ენის ახალი რესურსი AI-სთვის

მთავარი

ბიზნესისა და ტექნოლოგიების უნივერსიტეტმა ქართული ენისთვის ახალი სასწავლო რესურსი გამოაქვეყნა, რომლის ძირითადი ქართული ტექსტების მოცულობა პაკეტის აღწერით დაახლოებით 150 მილიონი ტოკენია. მასალა მკვლევრებსა და დეველოპერებს აძლევს დამატებით საფუძველს, იმუშაონ ქართულად ტექსტის გაგების, დამუშავებისა და შექმნის გაუმჯობესებაზე.

მთავარი დასკვნები

  • BTU-ს ახალი ქართული ენობრივი პაკეტი აერთიანებს მილიონობით მაგალითსა და სასწავლო დავალებას, რომლებიც ქართული გრამატიკის მიხედვით არის მომზადებული.
  • ტექსტური მასალა, გრამატიკული წესები და პრაქტიკული მაგალითები ეხმარება დეველოპერებს ქართული ენის კონკრეტულ ამოცანებზე მუშაობაში.
  • პროექტის მთავარი შესაძლებლობაა ამ რესურსის გამოყენება ქართულენოვანი სასწავლო და სამუშაო ინსტრუმენტების განვითარებისთვის; შედეგი კონკრეტულ AI-სისტემაში უნდა შეფასდეს.

როდესაც ადამიანი ხელოვნურ ინტელექტს ქართულად მიმართავს, მას სურს ჩვეულებრივად დასვას კითხვა და მიიღოს გასაგები პასუხი. სტუდენტს შეიძლება რთული საკითხის ახსნა სჭირდებოდეს, თანამშრომელს წერილის მომზადება, მომხმარებელს კი მომსახურების პირობებში გარკვევა. ასეთ დროს ენა განსაზღვრავს, რამდენად მარტივი და სასარგებლო იქნება ტექნოლოგიასთან ურთიერთობა.

ქართულად გამართული მუშაობისთვის AI-ს შესაბამისი სასწავლო მასალა სჭირდება. მნიშვნელოვანია, რომ ამ მასალაში წარმოდგენილი იყოს წინადადებების აგება, სიტყვების სხვადასხვა ფორმა და მათი გამოყენება განსხვავებულ ვითარებაში. რაც უფრო გააზრებულად არის ეს რესურსები მომზადებული, მით უფრო კონკრეტულ ამოცანებზე შეუძლიათ მკვლევრებსა და დეველოპერებს მუშაობა.

BTU-ს ახალი პაკეტი ამ მიმართულებით გადადგმული ნაბიჯია. უნივერსიტეტმა მოამზადა და GitHub-ზე საჯაროდ განათავსა გაფართოებული ქართული ენობრივი რესურსი. მის აღწერაში ძირითადი ტექსტების მოცულობა დაახლოებით 150 მილიონ ტოკენად არის მითითებული. ტოკენი ტექსტის დამუშავების ერთეულია: ის შეიძლება სიტყვა ან სიტყვის ნაწილი იყოს. მკითხველისთვის ეს რიცხვი მასალის მოცულობას აჩვენებს. [1]

BTU-ს მკვლევრების შეფასებით, ახალი რესურსის მნიშვნელობა იმაშიცაა, რომ ქართულ ენაზე მუშაობის მსურველ გუნდებს საერთო სასწავლო საფუძველი უჩნდებათ. მათ შეუძლიათ მასალა საკუთარი ამოცანისთვის გამოიყენონ, გამოსცადონ სხვადასხვა მიდგომა და შეაფასონ, რა მუშაობს უკეთ.

რა მოამზადა უნივერსიტეტმა

ახალი პაკეტი შეიცავს ექვს მილიონზე მეტ ძირითად ენობრივ ჩანაწერს. ისინი ქართული ენის წესების მიხედვით შექმნილი მაგალითებია, რომლებშიც იცვლება მოქმედი პირი, სიტყვების ფორმა, დრო და წინადადების კონტექსტი. ასეთ მასალაზე მუშაობით შესაძლებელია ყურადღების გამახვილება კონკრეტულ ენობრივ საკითხზე, მაგალითად იმაზე, როგორ იცვლება წინადადება წარსულიდან მომავალ დროში გადასვლისას. [1]

ტექსტებს ახლავს სასწავლო დავალებებიც. ზოგი მათგანი ეხმარება სისტემას გაარჩიოს, ვინ მოქმედებს წინადადებაში. სხვები შეცდომის გასწორებას ან ტექსტის ცალკეულ ნაწილებზე მუშაობას ეხება. პაკეტში ასევე შეტანილია წყაროებიდან მიღებული გაერთიანებული ენობრივი ინფორმაცია, მათ შორის სიტყვაფორმებისა და სიტყვების ერთად გამოყენების შესახებ.

ასე ტექსტი და დავალება ერთმანეთს უკავშირდება. დეველოპერს შეუძლია შეარჩიოს ის მასალა, რომელიც მისთვის საჭირო პრობლემას ეხება. მაგალითად, ტექსტის გაგებაზე მომუშავე გუნდისთვის საინტერესო იქნება მოქმედი პირის ამოცნობა, ხოლო წერილობითი პასუხების გაუმჯობესებაზე მომუშავე გუნდისთვის სიტყვების შეთანხმება და ფორმების სწორად გამოყენება.

რესურსის შექმნისას წესების მიხედვით მომზადებული მაგალითები გამოიყენეს. ეს მიდგომა ერთსა და იმავე ენობრივ საკითხს მრავალი განსხვავებული ფორმით წარმოაჩენს. შესაბამისად, პაკეტი განსაკუთრებით გამოსადეგი შეიძლება იყოს ქართული გრამატიკის კონკრეტულ ამოცანებზე სამუშაოდ. მისი დანიშნულება ამგვარი მუშაობისთვის დამატებითი მასალის მიწოდებაა.

რატომ აქვს ამას ყოველდღიური მნიშვნელობა

ენის გაგება სიტყვების ცნობაზე მეტია. წინადადებაში ხშირად ერთი პატარა ცვლილება მთლიან აზრს ცვლის. „დავალება გავაგზავნე“ და „დავალება ჯერ არ გამიგზავნია“ ერთ თემას ეხება, თუმცა სრულიად განსხვავებულ პასუხს მოითხოვს. ეს მარტივი მაგალითი გვიჩვენებს, რატომ არის მნიშვნელოვანი დროის, უარყოფისა და სიტყვებს შორის კავშირის სწორად გაგება.

მსგავსი განსხვავებები გვხვდება სტუდენტურ ნაშრომებში, საქმიან წერილებში, მომხმარებლის შეკითხვებსა და ყოველდღიურ საუბარში. თუ სისტემა ტექსტის ამ ნაწილებს სწორად ამუშავებს, ადამიანს შეუძლია უფრო ზუსტად აუხსნას თავისი მოთხოვნა და უფრო სასარგებლო პასუხი მიიღოს. ქართული ენისთვის მომზადებული რესურსები სწორედ ამ შესაძლებლობაზე მუშაობას ემსახურება.

განათლებაში მათი გამოყენების ერთ-ერთი მიმართულებაა სასწავლო ინსტრუმენტების განვითარება. მაგალითად, დეველოპერებს შეუძლიათ იმუშაონ სისტემაზე, რომელიც ქართულად ხსნის საკითხს, ეხმარება სტუდენტს ტექსტის გააზრებაში ან წერილობით დავალებაზე უკუკავშირს აძლევს. ასეთი ინსტრუმენტისთვის მნიშვნელოვანია, პასუხი შინაარსობრივად სწორი და ენით გასაგები იყოს.

ბიზნესში შესაძლო გამოყენება უკავშირდება მიმოწერის დამუშავებას, მომხმარებლის შეკითხვის გაგებასა და ტექსტიდან საჭირო ინფორმაციის ამოღებას. ქართულად დაწერილი მოთხოვნის სწორად გაგება ამ მომსახურების პრაქტიკული ნაწილია. ახალი პაკეტი ასეთ მიმართულებებზე მომუშავე გუნდებისთვის დამატებითი სამუშაო რესურსია.

ეს მაგალითები აჩვენებს, სად შეიძლება მასალის გამოყენება. კონკრეტულ სისტემაში მიღებული გაუმჯობესება სწავლებისა და შემდგომი გამოცდის შედეგად უნდა შეფასდეს. უნივერსიტეტის მიერ რესურსის გამოქვეყნება ამ პროცესისთვის საფუძველს ქმნის.

როგორ გრძელდება ქართული ენის პროექტი

ახალი პაკეტი BTU-ს წინა სამუშაოს აგრძელებს. უნივერსიტეტის საჯარო აღწერის მიხედვით, მანამდე გამოქვეყნებული ქართული ენის ორი პაკეტის საერთო მოცულობა დაახლოებით 27 მილიონ ტოკენად იყო შეფასებული. ხელმისაწვდომია ქართული ენის გრამატიკის პირველი ეტაპის პილოტური გამოცემაც AI-სთვის. ახალი რესურსი ამ მასალებს ემატება და კონკრეტულ ენობრივ ამოცანებზე მუშაობის შესაძლებლობას აფართოებს. [2]

ამ ეტაპებს ერთმანეთთან მიზანი აკავშირებს: ქართული ენისთვის საჭირო ცოდნა და მაგალითები ხელმისაწვდომი გახდეს იმ ფორმით, რომლის გამოყენებასაც ტექნოლოგიური გუნდები შეძლებენ. გრამატიკული აღწერა ხსნის წესს, მაგალითი აჩვენებს მის გამოყენებას, დავალება კი ამ ცოდნაზე მუშაობის საშუალებას იძლევა.

პროექტის პარტნიორია „პალიტრა ჯგუფი“, რომელმაც უნივერსიტეტს ქართულენოვანი ტექსტების დიდი ბაზა მიაწოდა. ეს მასალები, BTU-ს რესურსებთან ერთად, ენობრივი მონაცემების დამუშავებისა და ახალი სასწავლო მასალის მომზადების საფუძველია. საჯარო პაკეტის შესაბამის ნაწილში წყაროებიდან მიღებული გაერთიანებული ენობრივი ინფორმაციაა წარმოდგენილი. [1][2]

ამ თანამშრომლობაში ტექსტური რესურსი და უნივერსიტეტის კვლევითი სამუშაო ერთმანეთს უკავშირდება. შედეგი ხელმისაწვდომი ხდება სხვა მკვლევრებისთვისაც, რომლებსაც საკუთარი ამოცანები აქვთ. ერთმა გუნდმა შეიძლება სასწავლო ინსტრუმენტზე იმუშაოს, მეორემ ქართულენოვან მომსახურებაზე, მესამემ კი ტექსტის დამუშავების ახალი მეთოდი გამოსცადოს.

BTU-ს მკვლევრების შეფასებით, ასეთი საერთო საფუძველი ქართული ენის გარშემო თანამშრომლობის შესაძლებლობას ზრდის. უნივერსიტეტს შეუძლია შექმნას მასალა, სხვა გუნდებმა კი მისი გამოყენებით ახალი მიდგომები შეამოწმონ. ამგვარად, ერთი პროექტის შედეგი შემდგომი სამუშაოს საწყისი რესურსი ხდება.

რესურსი უკვე ხელმისაწვდომია

პაკეტის ნახვა და გამოყენების პირობების გაცნობა BTU-ს GitHub-ის გვერდზეა შესაძლებელი. მას ახლავს აღწერა და მუშაობის ინსტრუქციები. რესურსი გამოქვეყნებულია CC BY-NC 4.0 ლიცენზიით: ავტორის მითითება აუცილებელია, ხოლო კომერციული გამოყენება ცალკე ნებართვას მოითხოვს. [3]

შემდგომი ნაბიჯია მასალის გამოყენება კონკრეტულ სისტემებში და შედეგების შეფასება. საჭიროა დავინახოთ, რამდენად ეხმარება ის ქართული ტექსტის გაგებასა და შექმნას იმ ამოცანებში, რომლებისთვისაც გამოიყენეს. საჯარო პაკეტი ასეთი კვლევისთვისაა მომზადებული; კონკრეტულ მოდელზე ხარისხის გაუმჯობესება ჯერ ცალკე შესაფასებელია.

BTU-სთვის წლის ბოლომდე სხვადასხვა AI-სისტემაში უკეთესი ქართული ენის ხილვა მნიშვნელოვანი მიზანია. ამ მიზანს ემსახურება რესურსების შექმნა, მათი ხელმისაწვდომობა და სხვა გუნდებისთვის გამოყენების შესაძლებლობის მიცემა.

ახალი ეტაპის დასრულებით უნივერსიტეტმა ქართულად მომუშავე ტექნოლოგიების განვითარებისთვის დამატებითი სასწავლო მასალა მოამზადა. საქართველოსთვის ამის პრაქტიკული მნიშვნელობა არის შესაძლებლობა, AI-ის გამოყენებაზე მუშაობა ჩვენი ენით, ჩვენი ენის წესებითა და შესაბამისი მაგალითებით გაგრძელდეს. საბოლოო სარგებელი ადამიანმა უნდა იგრძნოს: როდესაც ქართულად დასმულ კითხვაზე უფრო გასაგებ პასუხს მიიღებს, უკეთ ისწავლის ან სამუშაოს უფრო მარტივად შეასრულებს.

კითხვები და პასუხები

რა არის ახალი პაკეტის მთავარი დანიშნულება

მკვლევრებსა და დეველოპერებს მისცეს ქართული ენის მაგალითები და დავალებები, რომლებსაც AI-ის სწავლებისა და შეფასებისთვის გამოიყენებენ.

რას ნიშნავს დაახლოებით 150 მილიონი ტოკენი

ეს არის პაკეტში მითითებული ტექსტის მოცულობა. ტოკენი ტექსტის დამუშავების ერთეულია და შეიძლება სიტყვა ან სიტყვის ნაწილი იყოს.

სად შეიძლება ამ მასალის გამოყენება

ქართული ტექსტის გაგებაზე, დამუშავებასა და შექმნაზე სამუშაოდ, მათ შორის განათლებისა და ბიზნესის ინსტრუმენტების განვითარებისას. გამოყენებისას საჭიროა ლიცენზიის პირობების დაცვა.

სად არის პაკეტი განთავსებული

BTU-ს GitHub-ის საჯარო გვერდზე, აღწერასა და გამოყენების პირობებთან ერთად. [1]