Суперкомп'ютер Andromeda включає 13,5 млн обчислювальних ядер

За повідомленням Cerebras Systems, розроблений компанією суперкомп'ютер Andromeda складається з 16 систем Cerebras CS-2 і використовує технології Cerebras MemoryX і SwarmX для забезпечення продуктивності ШІ обчислень понад 1 Екзафлоп і близько 120 Петафлоп у режимі обчислень із 16-бітною половинною точністю.

Система CS-2 являє собою 15U стійку з 850 тис. оптимізованих під ШІ обчислювальних ядер, 40 ГБ SRAM на кристалі, з пропускною здатністю пам'яті 20 Пбіт/с і міжз'єднаннями 220 Пбіт/с. Кожна стійка споживає пікову потужність 23 кВт, що дає загальне енергоспоживання 368 кВт. До складу конфігурації входять також 18176 процесорних ядер AMD x86 EPYC 3-го покоління у 284 чіпах.

Для порівняння, Andromeda має в 1,6 раза більшу кількість ядер, ніж Frontier, що посідає наразі перше місце в рейтингу суперкомп'ютерів, до складу якого входить 8,7 мільйона ядер.

Особливістю архітектури Andromeda є інтеграція сотень тисяч ядер на одній пластині, що дає змогу суперкомп'ютеру в задачах ШІ демонструвати майже ідеальне лінійне масштабування великих робочих навантажень мовних моделей, спираючись тільки на простий паралелізм даних, на відміну від суперкомп'ютерів, що використовують графічні процесори.

Майже ідеальне масштабування означає, що в міру використання додаткових CS-2, час навчання скорочується майже ідеально пропорційно. Це охоплює великі мовні моделі з дуже великою довжиною послідовності - завдання, яке неможливо вирішити на графічних процесорах. Так один із перших користувачів Andromeda досяг майже ідеального масштабування на моделі великої мови GPT-J AI за 2,5 млрд і 25 млрд параметрів із великою довжиною послідовності.

Доступ до Andromeda вже відкритий, клієнти та академічні дослідники виконують реальні робочі навантаження. Andromeda може використовуватися одночасно кількома користувачами. Користувачі можуть вказати, скільки систем CS-2 Andromeda вони хочуть використовувати протягом декількох секунд. Це означає, що Andromeda може використовуватися як кластер із 16 суперкомп'ютерів CS-2 для одного користувача, який працює над одним завданням, або 16 окремих систем CS-2 для шістнадцяти різних користувачів із шістнадцятьма різними завданнями, або в будь-якій комбінації між ними.

Andromeda розгорнута в Санта-Кларі, Каліфорнія, у 16 стійках у високопродуктивному центрі обробки даних Colovore.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365