Прогрес AI уповільнюється чи набирає обертів?

Ті, хто стверджує, що прогрес у сфері AI сповільнюється або масштабування впирається в стіну, помиляються, – вважає співзасновник Anthropic Джек Кларк (Jack Clark). На його думку, нещодавній успіх OpenAI з її моделлю o3 свідчить про те, що розвиток АІ не сповільнюється, а навпаки набирає обертів.

Кларк вказує на нову o3-модель OpenAI як доказ того, що є ще багато можливостей для зростання, але за допомогою інших підходів. Замість того, щоб просто створювати більші моделі, o3 використовує навчання з підкріпленням і додаткову обчислювальну потужність.

Ця здатність «думати вголос» під час роботи відкриває нові можливості для масштабування AI. Кларк очікує, що ця тенденція набере обертів у 2025 році, коли компанії почнуть поєднувати традиційні підходи, такі як великі базові моделі, з новими способами використання обчислень як під час навчання, так і під час висновків. Це збігається з тим, що казали в OpenAI, коли вони вперше представили свою серію о-моделей.

Більшість людей, на думку Джека Кларка, не готові до того, як швидко все буде розвиватися та наскільки радикальним буде прогрес». Втім він вказує на обчислювальні витрати як на головну проблему. Найдосконаліша версія o3 потребує в 170 разів більше обчислювальної потужності, ніж її базова версія, яка вже використовує більше ресурсів, ніж o1 – а сама o1 потребує більше потужності, ніж GPT-4o.

Крім того, нові системи роблять витрати набагато складнішими для прогнозування. У минулому витрати були простими – вони в основному залежали від розміру моделі та довжини вихідного сигналу. Але з появою моделей на кшталт o3 потреби в ресурсах можуть кардинально змінюватися залежно від конкретного завдання.

Стратегія охолодження ЦОД для епохи AI