В Казахстане появился свой ChatGPT на казахском языке

Первую национальную языковую модель на базе ИИ опубликовали в открытом доступе

Показать всех

Изображение снежного барса, созданное ИИ — В названии языковой модели есть слово «ирбис» — снежный барс

В Казахстане стала доступна первая национальная языковая модель с открытым исходным кодом IrbisGPT, обученная на большом наборе данных на государственном языке. Разработчики опубликовали официальный релиз на популярном ресурсе Habr.com 25 июня. Теперь каждый казахстанец сможет протестировать языковую модель и сделать свой вклад в ее обучение на казахском языке.

IrbisGPT — общественная некоммерческая инициатива, разработанная в сотрудничестве с MOST Holding и Gen2b.ai, студией, специализирующейся на применении искусственного интеллекта в бизнесе.

«IrbisGPT — это пионерский проект в области развития казахского языка через применение искусственного интеллекта. Цель инициативы — сохранение и распространение казахского языка и его интеграция в современные цифровые технологии для развития общества, экономики и науки в Казахстане. Мы выложили проект в открытый доступ для того, чтобы собрать вокруг него комьюнити и дать возможность энтузиастам развития казахского языка протестировать его и сделать свой вклад в обучение модели», — рассказал фаундер проекта Бахт Ниязов.

В сравнении с предрелизом, который был опубликован весной, актуальная версия IrbisGPT демонстрирует отличный потенциал для обучения. По словам разработчиков, подобные опенсорсные модели либо пытаются ответить на английском, либо просто «сыпят» случайными словами на казахском. Но благодаря длительному обучению национальная языковая модель на вопросы без контекста отвечает достаточно развернуто и правильно. Так, IrbisGPT дает ответ на государственном языке на вопрос «Шөп неге жасыл?» («Почему трава зеленая?»), знает, кто президент Казахстана, сколько дней в году и даже может пофилософствовать о смысле жизни.

Казахстанские стартаперы разрабатывают будущего конкурента OpenAI

Читать

«За очень короткое время мы получили впечатляющие результаты. IrbisGPT не просто разобралась с построением слов и грамматикой казахского языка, она умеет обрабатывать входящую информацию, натренирована отвечать на простые вопросы, способна работать с контекстом, что дает возможность ее подключения к актуальным базам знаний, к Налоговому кодексу, например, что может стать полезным инструментом по получению релевантной информации, — рассказал Армен Атаян, CEO Gen2b.ai. — Также благодаря более эффективному токенизатору скорость генерации текста на государственном языке увеличилась от трех до пяти раз по сравнению с моделями GPT.

Для обучения модели разработчики использовали 20 гигабайтов «сырых» данных из новостей и статей на казахском языке, что расширило словарь почти в три раза, говорит Атаян.

«Однако этого недостаточно, мы надеемся на предоставление качественных данных со стороны госорганов для усовершенствования IrbisGPT. У нас есть четкий план и самое главное — навыки по созданию модели следующего поколения, используя все самые последние достижения в области больших языковых моделей», — пообещал руководитель компании.

Итоговый словарь токенизатора содержит более 60 тысяч токенов. У команды имеется план по созданию модели в более совершенной архитектуре, которая будет полезна в разных отраслях.

Примеры ответов IrbisGPT

Question (KZ/RU)	Answer (KZ)	Answer (Translated to RU)
Шөп неге жасыл? Почему трава зеленая?	Өсімдіктер мен басқа да өсімдіктер фотосинтез арқылы күн сәулесін химиялық энергияға айналдырады, бұл өсімдік жасушаларына оттегі мен көмірқышқыл газын шығарады. Көмірқышқыл газы өсімдіктердің жапырақтарында жиналып, оларды жасыл түске бояйды.	Растения преобразуют солнечный свет в химическую энергию посредством фотосинтеза, в результате которого в клетках растений вырабатываются кислород и углекислый газ. Углекислый газ накапливается в листьях растений, окрашивая их в зеленый цвет.
Жексенбі күні кешке не істей аласыз? Чем заняться в воскресенье вечером?	Сіз жексенбі күні кешке бірнеше нәрсе жасай аласыз, мысалы, кітап оқыңыз немесе кино көріп, достарыңызбен сөйлесе аласыз.	В воскресенье вечером вы можете заняться несколькими делами, например, почитать книгу или посмотреть фильм и поговорить с друзьями.
Бір жылда неше күн бар? Сколько дней в году?	12 ай, 365 күннен тұрады	Состоит из 12 месяцев, 365 дней
Қазақстан президенті кім? Кто является президентом Казахстана?	Президент — Касым-Жомарт Токаев	Президент — Касым-Жомарт Токаев
Өмірдің мәні неде? В чем смысл жизни?	Көптеген адамдар өмірдің мәні — бұл қуаныш пен бақыт. Бұл дұрыс емес, өйткені көптеген адамдар бақытты деп санайтын нәрселерді немесе оларға қол жеткізуге болатын нәрсені іздейді. Өмірдің мәні — біздің күнделікті әрекеттеріміздің жиынтығы. Біз өз өмірімізді қалай қалыптастыра аламыз, оны қалай өзгерте аламыз және оның бізге қандай әсер ететінін анықтауымыз керек.	Для многих людей смысл жизни — это радость и счастье. Это неправда, потому что многие люди ищут то, что они считают счастьем или то, чего они могут достичь. Смысл жизни — это сумма наших ежедневных действий. Нам нужно понять, как мы можем формировать свою жизнь, как мы можем ее изменить и как она влияет на нас.
Тәрбиенің маңыздылығын және оның адам өміріне әсерін сипаттаңыз? Опишите значение образования и его влияние на жизнь человека?	Тәрбие — бұл адамның өмірінде маңызды рөл атқаратын, олардың жеке басын қалыптастыратын және олардың әлеуетіне әсер ететін процесс. Бұл адамдарға өздерінің жеке тұлғалары мен құндылықтарына назар аударуға мүмкіндік береді, олар өз өмірлерінің мәні мен мағынасы бар екенін сезінуге көмектеседі. Сондай-ақ, ол адамдарды өздерін жақсы түсінуге және басқаларға қалай әрекет етуге үйрететін дағдыларды дамытуға көмектеседі. Сонымен қатар, тәрбие сонымен бірге адамдар үшін құнды құндылықтарды қалыптастыруға және оларды құрдастарын құрметтеуге шақырады.	Образование — процесс, играющий важную роль в жизни человека, формирующий его личность и влияющий на его потенциал. Это позволяет людям сосредоточиться на своей личности и ценностях, помогая им почувствовать, что их жизнь имеет смысл и значение. Это также помогает людям развивать навыки, которые помогают им лучше понимать себя и то, как обращаться с другими. Кроме того, образование также побуждает людей развивать ценности и уважать своих сверстников.