| +33 голоса |
|
На початку року я показував бенчмарк для оцінки того, як різні мовні моделі володіють українською. Звісно, лідерами рейтингу були фронтір-моделі на кшталт GPT та Claude Opus, але тоді в ньому також брали участь дві моделі українських розробників. Я час від часу додаю до рейтингу нові моделі, а цього разу вирішив дещо в ньому доопрацювати.
По-перше, показник fertility rate (кількість токенів на слово) весь цей час обчислювався умовно й майже нічого не відображав. Тепер його переобчислено для всіх доступних моделей за даними нативних токенізаторів. Тож видно, що Lapa справді має власний токенізатор, навчений на українському корпусі, а Gemini нещодавно змінив токенізатор.
По-друге, цього року вийшли нові версії українських LLM (MamayLM навіть має версію 27B), тож їх треба було додати. Щоб усе було чесно, я тестував ці моделі вже не у квантованих версіях, а у BF16.
Нова таблиця рейтингу вже є в проєкті на GitHub. Упродовж останніх пів року лідером майже завжди є остання модель Opus, а впритул за нею йдуть усі версії Gemini. Щоправда, GPT-6 Astra зараз посідає п’яте місце і, можливо, ще підніметься.
Є певні зауваження щодо коректності саме рейтингу ELO: нові моделі додаються зі стандартним рейтингом 1500, тому для малих моделей це фора, яку вони витрачають у перших турнірах, а для фронтір-моделей, навпаки, це штраф, який треба відіграти. Утім, Opus 5.5 зробив це за два турніри, тобто це можливо.
Сумно, що українські моделі зрештою опинилися серед аутсайдерів. Певною мірою це повʼязано ще й з тим, що вони досі базуються на Gemma 3, яка вийшла півтора року тому. Здається, я десь бачив, що йшла робота з використанням Gemma 4 та Nemotron, але публічних релізів не знайшов.
P.S. Національна LLM «Сяйво» також базується на Gemma 3. Висновків не буде.
Клод краще володіє українською ніж Мамай
Як безпечно перейти до системного та керованого використання ChatGPT Business
| +33 голоса |
|
