Найбільший у світі нейроморфний суперкомп'ютер націлений на 10 млрд нейронів

За повідомленням SpiNNcloud Systems, ця компанія з Німеччини розробляє нейроморфний суперкомп'ютер із 10 млрд нейронів. Система SpiNNaker2 є частиною європейського проєкту вартістю 1 мільярд євро, реалізованого за останнє десятиліття на основі робіт професора Стіва Фурбера, одного із засновників ARM.

Нейроморфний суперкомп'ютер SpiNNaker2 був розроблений для роботи з нейронними мережами, керованими подіями, глибокими нейронними мережами та AI на основі символічних правил. Він відрізняється від системи Hala Point, представленої Intel минулого місяця, що має 1 млрд нейронів.

«Ми представляємо найбільший комерційно доступний гібридний суперкомп'ютер, який поєднує в собі властивості, що ґрунтуються на подіях, а також розподілені глибокі нейронні мережі та механізми, що ґрунтуються на правилах, оскільки ядра ARM дають змогу обмінюватися інформацією в режимі реального часу», - розповів Гектор Гонсалес (Hector Gonzalez), співголова компанії SpiNNcloud.

Початковий напіврозмірний варіант, створюваний у Дрездені (Німеччина), міститиме до 5 млн нейронів. У ній використовується замовний чип зі 152 ядрами мікроконтролерів ARM M4F, побудований за 22-нм техпроцесом FDX за технологією кремній на ізоляторі в Global Foundries з використанням адаптивного зворотного зміщення (ABB) для зниження енергоспоживання.

На периферії розташовані ядра прискорювачів нейронних мереж і ядра управління пам'яттю, а також експоненціальні та логарифмічні функції і два істинних генератори випадкових чисел (RNG), які семплюють тепловий шум PLL у кожному ядрі для виконання операцій стохастичного або випадкового ходіння.

На одній карті 48 чипів, 90 карт у стійці та вісім стійок, що загалом дає 5,25 млн ядер.

«Цей суперкомп'ютер із 5 млн ядер має 5 млрд нейронів, оскільки на кожне ядро припадає 1000 нейронів, але 10 млн ядер - це максимальний розмір, який ми пропонуємо на комерційній основі з 1440 платами, - обмеження полягає в маршрутизації та підтримці продуктивності в реальному часі. Оригінальна система оновлювалася за 1 мс, але що більший розмір, то складніше. З 1440 платами ми, як і раніше, можемо оновлювати інформацію за 1 мс».

У системі використовується суміш синхронних операцій на рівні чіпів і асинхронних комунікацій між платами та стійками. Напруга на чіпах може динамічно змінюватися між пороговими значеннями 0,45 і 0,6 В залежно від потреб у даних, наприклад, у разі стрибкоподібного збільшення обсягу даних, що проходять через систему, а частота також може змінюватися динамічно.

«Це енергоефективні обчислення, але водночас ви отримуєте штучний інтелект і можливість керувати кодом на основі подій, не тільки в рамках спайків, а й використовуючи розрідженість у різних масштабах, не тільки для обчислень, а й на рівні зв'язку та в різних мережах», - каже Гонсалес. «Це те, що дуже складно зробити в архітектурі GPU».

Нейроморфний суперкомп'ютер буде доступний у хмарі та зможе одночасно використовувати безліч різних типів AI-фреймворків для сенсорних мереж або для підвищення точності та безпеки генеративного AI.

Ми спілкувалися з людьми з «розумних міст», яких цікавить опрацювання потоків датчиків у реальному часі, виявлення ліків за допомогою невеликих мереж у паралельному режимі, і все це чудово вписується в машину", - каже Гонсалес.

«Ви можете масштабувати символьні рушії, а також DNN, які можуть бути YOLO або GPT-шаром для LLM, і вони можуть бути дуже хорошими в тому, що стосується відсутності галюцинацій, роботи з неповними даними, це також може бути використано з потоками датчиків з міркуваннями. Ми також дуже зацікавлені в запуску моделей мозку, які зазвичай дуже складно запустити в інших мережах через вимоги до з'єднання».

Одним із перших замовників є Сандійська національна лабораторія в США. «Обчислення, подібні до мозку, вимагають програмованої динаміки, зв'язку на основі подій і екстремального масштабу», - каже Фред Ротгангер із Національної лабораторії Сандії. «SpiNNaker2 - це найгнучкіша архітектура нейронних суперкомп'ютерів на сьогодні. У Сандії ми з нетерпінням чекаємо можливості створювати додатки на базі цієї дивовижної системи».

Група Фурбера з Манчестерського університету розробляла програмний стек для суперкомп'ютера впродовж останніх семи років, поєднуючи інструменти для шипових мереж, графових DNN і символьної логіки за допомогою інтерфейсу TVM, розробленого в Університеті Вашингтона в США.