Amazon анонсувала нове покоління своїх чипів для АІ - Graviton4 і Trainium2

Amazon Web Services на конференції re:Invent представила два чипи наступного покоління для узагальнених хмарних обчислень і високоефективного навчання АІ.

Сімейство процесорів Graviton на базі Arm використовується AWS для забезпечення високої продуктивності та зниження витрат для широкого спектра робочих навантажень хмарних обчислень в Amazon Elastic Compute Cloud.

За даними Amazon, Graviton4 забезпечує до 30% кращу обчислювальну потужність, маючи на 50% більше ядер і на 75% більшу пропускну здатність пам'яті, ніж процесори Graviton3 поточного покоління.

"Graviton4 - це четверте покоління, яке ми випустили всього за п'ять років, і це найпотужніший та найенергоефективніший чіп, який ми коли-небудь створювали для широкого спектра робочих навантажень, - наголосив Девід Браун (David Brown), віцепрезидент з обчислювальних та мережевих технологій в AWS. - Кремній лежить в основі кожного робочого навантаження клієнта, що робить його критично важливою сферою інновацій для AWS".

Нагадаємо, що компанія створює власні чипи з 2018 року, починаючи з Graviton1, на якому працює екземпляр A1 EC2. Кожне наступне покоління процесорів приносило з собою значне підвищення продуктивності, зниження витрат і ефективності, як наголошується. Зі слів компанії доступність Graviton призвела до значного зростання екосистеми AWS, оскільки клієнти побачили негайне покращення своїх робочих навантажень.

На сьогодні пропонується понад 150 різних типів екземплярів Amazon EC2 на базі Graviton по всьому і вже розгорнуто понад 2 мільйони цих процесорів.

Повідомляється, що процесори Graviton4 будуть доступні в новому екземплярі Amazon EC2 R8g з оптимізованою пам'яттю, що дозволить клієнтам запускати покращене виконання для високопродуктивних баз даних та робочих навантажень з аналізу інформації. Екземпляри R8g забезпечать великі розміри для втричі більшої кількості віртуальних центральних процесорів і втричі більший обсяг пам'яті, ніж поточні R7g.

AWS також анонсувала Trainium2, спеціально розроблений високопродуктивний чіп для навчання FM і LLM з трильйонами параметрів, який може забезпечити до чотирьох разів більшу продуктивність навчання і втричі більший обсяг пам'яті, ніж чип першого покоління. Компанія також повідомила, що покращила енергоефективність процесора вдвічі порівняно з першим поколінням.

Чіпи Trainium діють як прискорювачі AI для алгоритмів глибокого навчання для високопродуктивних робочих навантажень AI та ML. Вони також оптимізовані для навчання обробки природної мови, комп'ютерного зору та рекомендаційних моделей, що використовуються в додатках AI, таких як узагальнення тексту, генерація коду, відповіді на запитання, генерація зображень та відео.

Trainium2 буде доступний у нових екземплярах Amazon EC2 Trn2, які включають 16 чипів Trainium2 в одному екземплярі. Клієнти зможуть масштабувати ці екземпляри до 10 000 чіпів Trianum2 в наступному поколінні ультракластерів EC2, з'єднаних між собою петабітною мережею AWS Elastic Fabric Adapter, здатною забезпечити до 65 ексафлопс обчислень. В Amazon заявили, що при такому масштабі клієнти зможуть навчати до 300 мільярдних LLM за тиждень, замість того, щоб витрачати на це місяці.

Про DCIM у забезпеченні успішної роботи ІТ-директора