Що змінилося в рейтингу Artificial Analysis?

Підозрюю, що зараз усі почнуть обговорювати нову версію рейтингу Artificial Analysis – я вже бачив коментарі про те, що в рейтингу стало більше закритих тестів, і ось, мовляв, подивіться, як просіли відкриті моделі. Дійсно, у новому складі тестів версії v5 закритих стало 60% проти 45% у попередній v4.3. Але робити висновок, що відкриті моделі більше займаються бенчмаркінгом, не варто. Можна подумати, що пропрієтарні моделі на цьому не заробляли. У підсумковому рейтингу лідер залишився незмінним – Opus 5.5, навіть його 58 балів збіглися. Втім помітно вище піднялися моделі OpenAI, а найбільше просів Kimi.

Але із загального набору тестів вилучили деякі, з якими справлялися всі моделі – це саме по собі збільшило розрив. Крім того, збільшилася кількість завдань, що вимагають використання інструментів і довгострокового планування. Помітно також вплив effort на результати.

Припускаю, що прихильники OpenAI будуть щосили наводити ще й дані про вартість завдань – GPT 6.1 Sol заробляє свої 55 балів, витрачаючи в середньому $1,27 на завдання, а Opus 5.5 отримує 58 балів при середньозваженій вартості завдання в $10,04.

Але загалом зрозуміло, що нічого певного сказати не можна – чи то моделі навчалися на тестах, чи то сильні сторони одних моделей збігалися зі старими тестами й перестали збігатися з новими, чи то одне з двох. А якщо додати всілякі харнеси та поєднувати різні моделі в одному завданні, то вийде старий шкільний жарт про нещасливий басейн, у який вода то втікає, то витікає, а він гумовий і задовбався давно.

Що змінилося в рейтингу Artificial Analysis?