Қазірдің өзінде пайдаланушыларға 30-дан астам өнім қолжетімді, деп хабарлайды aqshamnews.kz тілшісі.
Қазақ тілі цифрлық ресурстары шектеулі тілдердің санатынан шығып, цифрлық ортада толыққанды ұсынылған тілдердің қатарына қосылуы тиіс. Ол үшін тек сөздік пен академиялық зерттеу ғана емес, сапалы тілдік деректің ауқымды массивтері, Ұлттық корпус, NLP-құралдары мен төл тілдік модельдер қажет. Өңірлік коммуникациялар қызметінің брифингінде Ахмет Байтұрсынұлы атындағы Тіл білімі институтының бас директоры, филология ғылымдарының кандидаты Анар Фазылжан осылай деп мәлімдеді.
Спикердің айтуынша, цифрлық дәуір лингвистерге жүктелген міндетті түгел өзгерткен. Бұған дейін тіл білімі негізінен тілдің құрылымын сипаттаумен, грамматиканы, сөздікті әзірлеумен айналысса, енді тілді машинамен өзара әрекеттесуге де «үйрету» қажет. Яғни жасанды интеллектіні дамыту мүмкін болмайтын сапалы цифрлық деректермен қамтамасыз ету керек.
«Қазақ тіл білімі енді тек академиялық сипаттамамен, сөздікпен, грамматикамен шектеле алмайды. Қазір тілдік корпустар, деректер базасы, аннотацияланған мәтін, цифрлық сөздік, NLP-құралдары, тілдік модельдер мен жасанды интеллект өнімдері қажет. Қазақ тілін low-resource language деңгейінен high-resource language деңгейіне жедел көшіріп, оның цифрлық ортадағы қолданылу аясын кеңейтуіміз керек», – деді Анар Фазылжан.
Мұндай жұмыстың негізгі тірегінің бірі – Қазақ тілінің ұлттық корпусы. Бүгінде оның көлемі 200 миллион сөз қолданысқа жетті. Оның құрамында ауызекі сөйлеу тілін, диалектілерді, терминологияны, оқу мен ғылыми мәтіндерді, қазіргі поэзияны, интернет-контентті, жасанды интеллект жасаған мәтіндер мен тілдің басқа да қабатын қамтитын 22 мамандандырылған қосалқы корпус жұмыс істейді.
Сонымен қатар Институт басқа да лингвистикалық ресурстарды цифрлық форматқа көшірп жатыр. Қазірдің өзінде пайдаланушыларға 30-дан астам өнім қолжетімді. Олардың қатарында электронды сөздіктер, орфографияны, пунктуация мен стилистиканы тексеру құралы, мәтінді тануға арналған OCR жүйесі, морфологиялық талдау, синонимдерді іздеу мен орфоэпиялық норманы тексеру сервисі бар. Сондай-ақ сенімді тілдік контекстер негізінде қалыптастырылған 4,5 миллион бірліктен тұратын картотекалық қор да цифрландырылды.
Бұл ресурстардың маңызы үлкен тілдік модельдердің дамуымен бірге арта түсуде. Тіл білімі институты Қазақ тілінің ұлттық корпусын құру мен дамыту бойынша үйлестіруші ұйым ретінде айқындалып, әл-Фараби атындағы ҚазҰУ-мен бірлесіп қазақ тіліне арналған үлкен тілдік модель әзірлеу жөніндегі үлкен жобаға қатысып жатыр.
«Үлкен тілдік модельдер дәуірі алдымызға жаңа міндет қойып отыр: тілді тек зерттеп қана қоймай, оны жасанды интеллект жүйелеріне бейімдеу қажет. Қазақ тілі мұндай модельдерде толыққанды ұсынылуы тиіс. Сонымен қатар ұлттық қауіпсіздік тұрғысынан отандық және салалық жасанды интеллект жүйелерін дамыту өзекті болып отыр», – деп атап өтті институт басшысы.
Алдағы уақытта әңгіме тек әмбебап тілдік модельдер туралы емес, қазақ тіліндегі мамандандырылған AI-жүйелер туралы да болуы мүмкін. Ғалымдардың пікірінше, сондай жобалардың бірі отандық AI-лингвист болуы ықтимал. Ол пайдаланушыларға қазақ тіліне қатысты мәселе бойынша кеңес беріп, филологтар мен тіл мамандарын даярлауға көмектесіп, сондай-ақ әртүрлі жастағы адамдарға мемлекеттік тілді үйренуге арналған жеке оқу бағдарламасын әзірлей алар еді. Кейін осы тілдік база негізінде AI-дәрігер, AI-инженер, AI-логопед, AI-провизор, AI-заңгер мен басқа да мамандандырылған модельдер пайда болуы мүмкін.
«Мұндай салалық модельдер мамандарға мемлекеттік тілде толыққанды жұмыс істеуге мүмкіндік берер еді. Бұл бір мезгілде қазақ тіліндегі коммуникацияның сапасын арттырып, сапалы контент көлемін ұлғайтады. Жасанды интеллект дәуірінде қазақ тілінің цифрлық кеңістікте толыққанды қызмет етуі білім беру, ғылым, мәдениет, мемлекеттік басқару мен ұлттық қауіпсіздік үшін стратегиялық мәнге ие», – дейді Анар Фазылжан.
Алайда мұндай технологияларды дамыту үшін тек бағдарламалық қамтамасыз етудің болуы жеткіліксіз. Спикердің айтуынша, қазіргі таңда қазақ тілінің тірі қолданысын көрсететін ауқымды әрі сапалы эмпирикалық база жеткіліксіз. Заманауи жүйелерге көркем және ғылыми әдебиеттің, ресми-іскерлік құжаттардың, бұқаралық ақпарат құралдары материалдарының, интернет мәтіндерінің, ауызекі сөйлеу тілінің, диалектілер мен оқу материалдарының елеулі көлемі қажет.