| +11 голос |
|
На конференції Google Cloud Next компанія Google анонсувала вихід восьмого покоління своїх спеціалізованих тензорних процесорів (Tensor Processor Unit, TPU), призначених для роботи з найскладнішими моделями AI.
Як повідомляється, нова лінійка розділена на дві архітектури: TPU 8t, оптимізовану для масивного навчання моделей, та TPU 8i, спроєктовану спеціально для інтенсивного інференсу (виконання запитів). Обидві платформи розроблялися у партнерстві з Google DeepMind для задоволення потреб автономних AI-агентів, які вимагають безперервних циклів міркування, планування та навчання.
Процесор TPU 8t фокусується на скороченні циклів розробки передових моделей з місяців до тижнів. Один суперпод на базі TPU 8t масштабується до 9 600 чіпів та 2 ПБ спільної пам'яті з високою пропускною здатністю, забезпечуючи продуктивність у 121 ексафлопс. Це утричі перевищує показники попереднього покоління. Завдяки новій мережі Virgo Network та програмному забезпеченню Pathways, система демонструє майже лінійне масштабування до одного мільйона чіпів у логічному кластері, а інтегровані системи RAS гарантують продуктивний час роботи на рівні 97%.
Для ери AI-агентів Google розробила TPU 8i, який усуває затримки при взаємодії багатьох спеціалізованих моделей. Чіп оснащений 288 ГБ пам'яті HBM та 384 МБ вбудованої SRAM (утричі більше, ніж раніше), що дозволяє тримати активні набори даних безпосередньо на кристалі. Вперше обидві архітектури працюють на власних центральних процесорах Google Axion на базі Arm. Це забезпечує на 80% кращу продуктивність на кожен витрачений долар порівняно з попереднім поколінням Ironwood та дозволяє обслуговувати вдвічі більше клієнтів за тією ж ціною.
Особливу увагу приділено енергоефективності, оскільки доступ до потужностей стає головним обмеженням для дата-центрів. TPU 8t та TPU 8i забезпечують у два рази кращу продуктивність на ват завдяки інтегрованому управлінню живленням та четвертому поколінню технології рідинного охолодження. Системи підтримують популярні фреймворки JAX, PyTorch, SGLang та vLLM і пропонують доступ до «голого заліза» (bare metal) без затримок на віртуалізацію. Обидва типи чіпів стануть загальнодоступними в межах хмарної інфраструктури Google Cloud пізніше цього року.
Аналітики зазначають, розділення архітектури TPU на два спеціалізовані напрямки - навчання та інференс - є стратегічною відповіддю Google на зміну парадигми використання AI. В епоху агентних обчислень моделі переходять від простих відповідей на запити до складних багатокрокових робочих процесів, що створює колосальне навантаження на пам'ять та мережеву інфраструктуру. Спеціалізація TPU 8i на мінімізації затримок дозволяє Google Cloud запропонувати ринку найбільш конкурентоспроможну ціну за запуск складних систем, таких як Mixture of Experts (MoE), де швидкість обміну даними між експертними моделями є критичною.
Головним ризиком для Google залишається внутрішня конкуренція з універсальними рішеннями від NVIDIA, які мають значно ширшу базу розробників та розвинену екосистему CUDA. Хоча TPU восьмого покоління демонструють виняткову енергоефективність та продуктивність-на-долар, вони залишаються закритими для використання поза межами Google Cloud. Це обмежує їхнє розповсюдження серед компаній, що віддають перевагу власним дата-центрам або мультихмарним стратегіям. Проте для клієнтів, орієнтованих на екосистему Gemini, нова інфраструктура стає безальтернативним інструментом масштабування.
З погляду бізнесу, інтеграція власних CPU Axion на базі Arm у систему TPU дозволяє Google повністю контролювати вертикальний стек обчислень. Це усуває вузькі місця, що виникали при використанні сторонніх процесорів, і дає змогу оптимізувати споживання енергії на рівні всієї стійки. Успіх восьмого покоління TPU залежатиме від того, наскільки швидко розробники AI-агентів зможуть адаптувати свої фреймворки під нову топологію мережі Boardfly, яка обіцяє радикальне зниження затримок при масовому паралельному виконанні завдань.
Стратегія охолодження ЦОД для епохи AI
| +11 голос |
|
