Нейроморфний суперкомп'ютер не вимагає СХД

Цікавий проект реалізується в Sandia National Labs, де розгорнуто суперкомп'ютер, в якому змогли обійтися не тільки без GPU, але й без системи зберігання даних.

Платформа SpiNNaker 2, створена компанією SpiNNcloud, імітує роботу мозку. На нинішньому етапі її розвитку - це від 150 до 180 млн нейронів.

Архітектура, що застосовується в цьому рішенні, була спочатку розроблена піонером Arm Стівом Фурбером (Steve Furber).

Як пояснює SpiNNcloud, високопаралельна архітектура SpiNNaker 2 передбачає 48 чіпів SpiNNaker 2 на кожній серверній платі, кожна з яких, у свою чергу, містить 152 базових ядра і спеціалізовані прискорювачі.

Кожен з 48 чіпів містить 20 МБ SRAM, а кожна плата — 96 ГБ зовнішньої пам'яті LPDDR4. Таким чином, 90 плат складають 8640 ГБ DRAM, а система з 1440 плат містить 69120 чіпів і 138240 ТБ DRAM. Зрозуміло, в системі використовується високошвидкісний зв'язок між чіпами. За словами SpiNNcloud, це усуває необхідність в централізованому сховищі. 

В рамках проекту, реалізованого в Sandia, була поставлена система з 24 плат і 175000 ядер. За даними SpiNNcloud, в Sandia «суперкомп'ютер підключений до наявних систем HPC і не містить ніяких ОС або дисків. Швидкість забезпечується внаслідок зберігання даних в SRAM і DRAM».

Стандартні паралельні порти Ethernet «достатні для завантаження/збереження даних». «Поточна максимальна система» налічує понад 10,5 млн ядер, що, за словами SpiNNcloud, означає, що вона може підтримувати біологічний реальний час.

Крім того, вона дозволяє виконувати складні обчислення і симуляції, керовані подіями, з більшою енергоефективністю в порівнянні з системами на базі GPU.

«Хоча системи на базі графічних процесорів можуть підвищити ефективність суперкомп'ютерів, обробляючи високопаралельні і математично інтенсивні робочі навантаження набагато швидше, ніж центральні процесори, системи, натхненні роботою мозку, такі як SpiNNaker2, пропонують привабливу альтернативу», — сказав Крейг М. Вайнярд (Craig M. Vineyard), доктор наук, науковий співробітник Sandia National Laboratories. «Нова система забезпечує як вражаючу продуктивність, так і суттєве підвищення ефективності, доповнюючи нейроморфні можливості Sandia».

Гектор А. Гонсалес (Hector A. Gonzalez), співзасновник і генеральний директор SpiNNcloud, повідомив, що система буде орієнтована на вирішення проблем «оборони наступного покоління і далі. Підвищення ефективності SpiNNaker2 робить платформу особливо придатною для вимогливих обчислювальних завдань в області національної безпеки».

У перспективі SpiNNcloud буде підтримувати нові алгоритми генеративного AI, забезпечуючи ефективніше машинне навчання за рахунок динамічної розрідженості. Замість того, щоб покладатися на щільні моделі, які активують всі нейронні шляхи, динамічна розрідженість вибірково задіює тільки відповідні підмножини нейронів на основі вхідних даних. Цей зсув підтримує розробку нових, ефективніших архітектур AI і пропонує потенційний шлях до зниження зростаючих енергетичних потреб, пов'язаних з великомасштабним навчанням моделей і висновками.

Kingston повертається у «вищу лігу» серверних NVMe SSD