Cerebras випустила АІ-процесор з 900 тис ядрами на 125 PetaFLOPS

Компанія Cerebras Systems офіційно представила процесор для штучного інтелекту Wafer Scale Engine 3 (WSE-3).

Як зазначається, новий чип має вдвічі більшу продуктивність, ніж система-попередник WSE-2.

WSE-3 містить 4 трильйони транзисторів і виробляється на лініях TSMC за технологічним процесом 5 нм. Він має 900 000 ядер, 44 ГБ оперативної пам'яті на кристалі та може видавати пікову продуктивність на рівні 125 FP16 PetaFLOPS.

Ceberas заявила, що WSE-3 буде використовуватися для навчання одних з найбільших в галузі моделей штучного інтелекту.

Так новий чип використовується у суперкомп'ютері Cerebras CS-3, який можна використовувати для навчання AI-моделей з 24 трильйонами параметрів. Система може підтримувати 1,5 ТБ, 12 ТБ або 1,2 ПБ зовнішньої пам'яті, що дозволяє зберігати масивні моделі в єдиному логічному просторі без розбиття або рефакторингу. Це значно спрощує процес навчання та підвищує ефективність розробники рішень.

Також підкреслюється, що CS-3 можна конфігурувати в кластери до 2048 систем. Така масштабованість дозволяє виконувати точне налаштування моделей з 70 мільярдами параметрів всього за один день за допомогою чотирьох систем, а також навчати модель Llama 70B з нуля за той самий час у повному обсязі.

При цьому всьому, попри подвоєння продуктивності, CS-3 зберігає таке ж енергоспоживання, як попередня версія суперкомп'ютера. Заявляється, що він також спрощує навчання великих мовних моделей (LLM), вимагаючи до 97% менше коду порівняно з GPU. Наприклад, модель вимагає GPT-3 вимагає лише 565 рядків коду на платформі Cerebras, згідно з даними компанії.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365