Енергоспоживання GPT-5 може бути вищим, ніж у попередніх моделях

Під час презентації GPT-5 компанія підкреслила революційні можливості моделі: її здатність створювати вебсайти, відповідати на наукові питання рівня доктора наук і міркувати над складними проблемами. Але експерти, які останні роки працювали над порівняльним аналізом енерго- та ресурсоспоживання AI-моделей, стверджують, що ці нові можливості мають свою ціну: відповідь GPT-5 може вимагати значно більше енергії, ніж відповідь попередніх версій ChatGPT.

OpenAI, як і більшість її конкурентів, не оприлюднювали офіційної інформації про енергоспоживання своїх моделей з моменту виходу GPT-3 у 2020 році. Але Сем Альтман (Sam Altman), генеральний директор компанії, опублікував у своєму блозі в червні цього року деякі цифри щодо споживання ресурсів ChatGPT. Однак ці цифри, 0,34 ват-години на запит, не стосуються конкретної моделі та не мають підтверджувальних документів.

«Більш складна модель, така як GPT-5, споживає більше енергії як під час навчання, так і під час інференції. Вона також орієнтована на тривале мислення... Я можу з упевненістю сказати, що вона буде споживати набагато більше енергії, ніж GPT-4», — заявив Ракеш Кумар (Rakesh Kumar), професор Іллінойського університету, який зараз працює над енергоспоживанням обчислювальних і AI-моделей.

У день випуску GPT-5 дослідники з лабораторії штучного інтелекту Університету Род-Айленда виявили, що модель може споживати до 40 ват-годин електроенергії для генерації середньої за довжиною відповіді з приблизно 1000 токенів.

Дашборд, який вони опублікували, показує, що середнє енергоспоживання GPT-5 для відповіді середньої довжини становить трохи понад 18 ват-годин, що перевищує показники всіх інших моделей, які вони тестували, за винятком моделі міркування o3 від OpenAI, випущеної у квітні, та R1, створеної китайською компанією Deepseek, що займається штучним інтелектом. Це «значно більше енергії, ніж GPT-4o», попередня модель від OpenAI, сказав Нідхал Джегам (Nidhal Jegham), дослідник групи.

З огляду на останні повідомлення про те, що ChatGPT обробляє 2,5 млрд запитів на день, загальне споживання GPT-5 може досягти щоденної потреби в електроенергії 1,5 млн американських домогосподарств.

Попри величину цих цифр, дослідники в цій галузі заявляють, що вони відповідають їхнім загальним очікуванням щодо енергоспоживання GPT-5, враховуючи, що ця модель, як вважається, у кілька разів більша за попередні. OpenAI не оприлюднила кількість параметрів, які визначають розмір моделі, для жодної зі своїх моделей після GPT-3, яка мала 175 млрд параметрів.

Цього літа французька компанія Mistral, що займається штучним інтелектом, оприлюднила результати дослідження своїх внутрішніх систем, в якому виявила «сильну кореляцію» між розміром моделі та її енергоспоживанням.

«Виходячи з розміру моделі, кількість ресурсів [використовуваних GPT-5] повинна бути на порядки вище, ніж у GPT-3», — зазначив Шаолей Рен (Shaolei Ren), професор Каліфорнійського університету в Ріверсайді, який вивчає ресурсний слід штучного інтелекту.

Вважалося, що GPT-4 в 10 разів більший за GPT-3. Джегам та Кумар стверджують, що GPT-5, ймовірно, перевершує GPT-4.

Провідні компанії в галузі штучного інтелекту, такі як OpenAI, вважають, що для досягнення AGI, тобто системи штучного інтелекту, здатної виконувати роботу людей, можуть бути необхідні надзвичайно великі моделі. Альтман рішуче відстоює цю думку, написавши в лютому: «Здається, що можна витратити довільну суму грошей і отримати постійний та передбачуваний прибуток», хоча він і зазначив, що GPT-5 не перевершує людський інтелект.

У своєму порівняльному дослідженні в липні, в якому розглядалося споживання електроенергії, води та викиди вуглецю для бота Le Chat від Mistral, стартап виявив пряму залежність між розміром моделі та споживанням ресурсів, відзначивши: «Модель, яка в 10 разів більша, матиме вплив на порядок більший, ніж менша модель, для однакової кількості згенерованих токенів».

Дослідники зазначають, що хоча масштаб GPT-5 є значним, ймовірно, існують інші фактори, які впливатимуть на визначення його споживання ресурсів. Хоча ця модель розгорнута на більш ефективному апаратному забезпеченні, ніж деякі попередні версії. GPT-5, здається, використовує архітектуру «суміш експертів», що означає, що він оптимізований таким чином, що не всі його параметри активуються під час відповіді на запит, що, ймовірно, зменшить його енергоспоживання.

З іншого боку, GPT-5 також є моделлю міркування і працює з відео та зображеннями, а також з текстом, що, ймовірно, робить його енергетичний слід набагато більшим, ніж операції тільки з текстом, кажуть і Рен, і Кумар, особливо з огляду на те, що режим міркування означає, що модель буде обчислювати довше, перш ніж відповісти на запит.

«Якщо ви використовуєте режим міркування, кількість ресурсів, які ви витрачаєте для отримання того самого відповіді, ймовірно, буде в кілька разів вищою, від п'яти до десяти», зазначив Рен.

Щоб обчислити споживання ресурсів AI-моделлю, група з Університету Род-Айленду помножила середній час, який модель витрачає на відповідь на запит на середнє енергоспоживання моделі під час її роботи.

Оцінка енергоспоживання моделі була «великою роботою», підкреслив Абдельтаваб Хендаві (Abdeltawab Hendawi), професор науки про дані в Університеті Род-Айленду. Група намагалася знайти інформацію про те, як різні моделі розгортаються в дата-центрах. Їхня остаточна робота містить оцінки того, які чіпи використовуються для певної моделі, і як різні запити розподіляються між різними чіпами в дата-центрі.

У червневому дописі в блозі Альтман підтвердив їхні висновки. Показник енергоспоживання ChatGPT на запит, який він надав, – 0,34 ват-години на запит – майже збігається з тим, що група виявила для GPT-4o.

Хендаві та Джегам заявили, що їхні висновки підкреслюють необхідність більшої прозорості з боку компаній, що займаються штучним інтелектом, оскільки вони випускають дедалі більші моделі.

«Зараз як ніколи важливо звернути увагу на справжню екологічну вартість AI», — зазначив Марван Абдельатті (Marwan Abdelatti), професор Університету Род-Айленду. «Ми закликаємо OpenAI та інших розробників скористатися цим моментом, щоб взяти на себе зобов'язання щодо повної прозорості, публічно розкривши екологічний вплив GPT-5».