Технічний прогрес забезпечить AI обчислювальними потужностями?

Експоненціальне зростання обчислювальних потужностей для штучного інтелекту триватиме в найближчому майбутньому, стверджує Мустафа Сулейман, генеральний директор Microsoft AI. За його даними, з 2010 року обсяг обчислень під час навчання передових моделей AI зріс у трильйон разів – з приблизно 10¹⁴ до понад 10²⁶ операцій з комою, що плаває (flops).

Сулейман виділяє три фактори зростання, що збігаються. По-перше, продуктивність чіпів Nvidia зросла більш ніж у сім разів за шість років – з 312 терафлопс у 2020 році до 2250 терафлопс сьогодні; власний чіп Microsoft – Maia 200, запущений у січні 2026 року, забезпечує на 30% краще співвідношення продуктивності до вартості порівняно з іншим обладнанням компанії. По-друге, технологія високошвидкісної пам'яті HBM3 потроїла пропускну здатність порівняно з попереднім поколінням. По-третє, технології NVLink та InfiniBand дозволяють об'єднувати сотні тисяч GPU в єдині суперкомп'ютери. У сукупності ці фактори забезпечили 50-кратне прискорення навчання мовних моделей з 2020 року, тоді як закон Мура передбачав би лише п'ятикратне.

Паралельно відбувається революція в програмному забезпеченні. За даними дослідницької організації Epoch AI, обсяг обчислень, необхідний для досягнення фіксованого рівня продуктивності моделі, скорочується вдвічі приблизно кожні вісім місяців. Вартість обслуговування деяких нових моделей знизилася в 900 разів у перерахунку на рік. З 2020 року обчислювальні потужності для навчання передових моделей зростали вп'ятеро щороку, а до 2027 року глобальні обчислювальні ресурси для ШІ, за прогнозами, досягнуть 100 млн одиниць в еквіваленті H100 – десятикратне зростання за три роки. За оцінкою Сулеймана, до кінця 2028 року можливе зростання ефективних обчислень ще в 1000 разів.

Автор вважає, що таке зростання забезпечить перехід від чат-ботів до напівавтономних агентів, здатних писати код, вести переговори, керувати логістикою та виконувати проєкти тривалістю в тижні й місяці. Головним обмеженням він називає енергоспоживання: одна серверна стійка AI споживає 120 кВт – стільки ж, скільки 100 будинків. Однак, за його словами, падіння вартості сонячної енергії майже в 100 разів за 50 років і зниження цін на акумулятори на 97% за 30 років відкривають шлях до чистого масштабування. До 2030 року, за оцінкою Сулеймана, щорічно може вводитися до 200 гігаватів обчислювальних потужностей – це порівняно з піковим енергоспоживанням Великої Британії, Франції, Німеччини та Італії разом узятих.

Загалом, все буде добре, якщо людство доживе. А якщо ви песиміст, то все буде ще краще, якщо ні.

Технічний прогрес забезпечить AI обчислювальними потужностями?

Стратегія охолодження ЦОД для епохи AI