| 0 |
|
Gartner оприлюднила прогноз, згідно з яким до 2030 року вартість виконання інференсу (генерації відповідей) для великих мовних моделей (LLM) з обсягом у один трильйон параметрів знизиться на понад 90% порівняно з рівнем 2025 року. Це стане можливим завдяки комплексному вдосконаленню напівпровідників, оптимізації архітектури моделей та ширшому використанню спеціалізованих чипів для обробки AI. За оцінками експертів, ефективність LLM у 2030 році буде у 100 разів вищою за перші моделі аналогічного розміру, розроблені у 2022 році.
Вілл Соммер (Will Sommer), старший директор-аналітик Gartner, пояснює, що основними драйверами зниження витрат стануть інновації в дизайні моделей та підвищення коефіцієнта використання чипів. Додатковим фактором стане перенесення частини обчислювального навантаження на крайові пристрої (Edge devices) для специфічних сценаріїв використання. У своєму аналізі Gartner використовує стандарт токена як одиниці даних обсягом 3.5 байта, що приблизно дорівнює чотирьом символам тексту.
Прогноз розділяє сценарії розвитку на дві категорії: Frontier (базується на використанні найсучасніших чипів) та Legacy blend (суміш доступних на ринку напівпровідників). Моделювання показує, що витрати у сценарії використання змішаних потужностей залишатимуться значно вищими через нижчу обчислювальну потужність застарілого обладнання. Проте загальна тенденція до здешевлення обробки одиниці даних є неминучою для всього ринку GenAI.
Попри стрімке падіння вартості одного токена, Gartner попереджає, що це не призведе до автоматичної демократизації передового штучного інтелекту для корпоративних клієнтів. Новітні агентні моделі (Agentic models) вимагають у 5–30 разів більше токенів для виконання одного завдання порівняно зі звичайними чат-ботами. Оскільки споживання токенів зростає швидше, ніж падає їхня собівартість, загальні витрати компаній на підтримку інфраструктури AI можуть навіть збільшитися у довгостроковій перспективі.
Прогноз Gartner розкриває фундаментальний парадокс ринку штучного інтелекту: дефляція вартості обчислень супроводжується дефіцитом "високорівневого міркування". Хоча базові мовні операції стають майже commodity, системи, здатні на складне логічне виведення, залишаються дефіцитним та дорогим ресурсом. Компаніям, які сьогодні маскують архітектурну неефективність своїх продуктів дешевими токенами, у майбутньому буде вкрай важко масштабувати агентні системи, де обсяги споживання даних зростають експоненційно.
Стратегічна цінність на ринку GenAI переміщується від володіння моделлю до здатності оркеструвати робочі навантаження. Майбутні платформи-лідери повинні вміти гнучко розподіляти завдання: рутинні операції мають спрямовуватися до малих спеціалізованих моделей (SLM), тоді як дорогий інференс фронтирних моделей повинен бути зарезервований виключно для високорівневих завдань із високою маржинальністю. Це змусить бізнес переглянути архітектуру своїх рішень, відмовляючись від універсальних систем на користь диференційованого підходу до обчислень.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
