Google Cloud запускає найпотужніші віртуальні машини, оптимізовані для штучного інтелекту

На конференції Google Cloud Next 2023 були анонсовані нові оптимізовані для AI віртуальні машини.

 

У своєму блозі Амін Вахдат (Amin Vahdat), генеральний директор Google з питань машинного навчання, систем і хмарного AI, зазначив, що клієнти вимагають більш потужних віртуальних машин, щоб впоратися з експоненціально зростаючими вимогами нових робочих навантажень, таких як генеративний AI та великі мовні моделі. «За останні п’ять років кількість параметрів в LLM збільшувалася в 10 разів на рік, - сказав він. - Як наслідок, клієнтам потрібна оптимізована для AI інфраструктура, яка є одночасно економічно ефективною і масштабованою».

 

Щоб задовольнити цю потребу, Google розробив Cloud TPU v5e, який зараз доступний у попередній версії. Вважається, що це найбільш економічно ефективний, універсальний і масштабований хмарний TPU, який компанія коли-небудь розробляла, забезпечуючи інтеграцію з GKE, фреймворком машинного навчання Google Vertex AI і різними провідними фреймворками AI, такими як PyTorch, TensorFlow і JAX. Це рішення призначено для середньо- та великомасштабних додатків для навчання та виведення АІ, забезпечуючи до двох разів вищу продуктивність навчання на долар та до 2,5 разів вищий показник для LLM та генеративних моделей АІ, порівняно з попереднім поколінням Cloud TPU v4.

 

Модулі TPU v5e дозволяють об’єднати до 256 чипів з пропускною здатністю понад 400 терабайт на секунду та продуктивністю 100 петаОп. Клієнти можуть обирати з восьми різних конфігурацій віртуальних машин, починаючи від одного процесора.

 

Із запуском хмарних віртуальних машин TPU v5e Google також пропонує нову технологію Multislice, яка дозволяє об’єднати десятки тисяч чіпів TPU v5e або старіших чіпів Google TPU v4 у попередній версії. Раніше клієнти були обмежені максимум 3,072 чипами з TPU v4. Multislice дозволяє розробникам працювати з десятками тисяч хмарних чипів, з’єднаних за допомогою міжчипового інтерконектора.

 

Google також анонсувала нові віртуальні машини A3 на базі новітнього графічного процесора Nvidia H100, заявивши, що вони спеціально створені для найвимогливіших робочих навантажень генеративного АІ. За словами Google, вони пропонують величезний стрибок вперед з точки зору продуктивності в порівнянні з графічними процесорами попереднього покоління A100 - втричі швидше навчання і в 10 разів більшу пропускну здатність мережі.

 

Наразі одна віртуальна машина A3 VM містить вісім графічних процесорів H100 разом з 2 терабайтами пам’яті хоста, а також новітні центральні процесори Intel 4-го покоління Xeon Scalable для розвантаження інших прикладних завдань.

 

Google повідомив, що стартап Anthropic AI, який займається генеративним АІ і є конкурентом OpenAI LP, є одним з перших користувачів нових віртуальних машин TPU v5e і A3. Він використовує їх спільно з Google Kubernetes Engine для навчання, розгортання і обміну своїми найсучаснішими моделями.