Якість роботи LLM з українською мовою почали оцінювати за єдиною методикою

В Україні запустили Ukrainian LLM Leaderboard – національний рейтинг великих мовних моделей, який оцінює їхню здатність працювати з українською мовою. Проєкт створили Центр компетенцій WINWIN AI при Мінцифрі, Український католицький університет та ініціатива lang-uk.

Моделі порівнюють за результатами виконання конкретних завдань українською – зокрема переклад, переказ і стислий виклад великих текстів, пошук відповідей у документах, логічні задачі, створення тестів зі шкільної програми на рівні ЗНО, математичні обчислення та виконання складних інструкцій.

Окремий рейтинг для української мови потрібен через обмеження міжнародних бенчмарків. Більшість із них орієнтовані на англійську, а українські завдання в деяких тестах оцінювали після машинного перекладу. Такий підхід не дає повноцінної картини щодо якості роботи моделі саме з українською.

Методику розробили експерти УКУ та lang-uk Юрій Панів і Дмитро Чаплинський. Вони вже понад 10 років працюють із технологіями для української мови. Для рейтингу використали наявні бенчмарки української NLP-спільноти та нові набори завдань.

Результати тестування, код і дані опубліковані у відкритому доступі на Hugging Face. Це дає змогу перевіряти методику та самостійно порівнювати моделі.

Для розробників і бізнесу рейтинг може стати додатковим критерієм під час вибору LLM для українськомовних продуктів. Насамперед це стосується систем пошуку та роботи з документами, генерації текстів і сервісів, де точність виконання інструкцій українською безпосередньо впливає на результат.

Автори планують розширити тестування: додати роботу із зображеннями, оцінювання етичності та вартості використання моделей українською. Окремий напрям – сценарії для державного сектору, зокрема робота з адміністративними процедурами, нормативними текстами та персональними даними.

Стратегія охолодження ЦОД для епохи AI