Китай створює модель штучного інтелекту в масштабі мозку

6 июля 2022 г., 11:30

Китайські вчені побудували те, що вони називають «моделью штучного інтелекту в масштабі мозку», на основі одного зі своїх останніх суперкомп’ютерів ExaFLOPS з процесорами Sunway, повідомляє SCMP. Вчені стверджують, що модель ШІ із 174 трильйонами параметрів може бути використана для різноманітних застосувань, починаючи від автономних транспортних засобів і закінчуючи науковими дослідженнями.

Використовувана система Sunway OceanLight (іноді називається OceanLite) базується на 96 000 вузлах, які працюють на гібридних 390-ядерних процесорах Sunway SW39010 із загалом майже 40 мільйонами ядер (з процесорами, еволюціонувавшими з процесорів SW26010). Цю машину рекламували як один із перших у світі екзамасштабних суперкомп’ютерів, але з тих пір твердження про його FP64-продуктивність було значною мірою спростовано, коли виявилося, що вчені знизили точність обчислень, які машина виконувала для отримання приза Гордона Белла (який іноді називають «Нобелівською премією з суперкомп’ютерів»).

Китайська команда дослідників з Національного дослідницького центру паралельної комп’ютерної інженерії та технологій (NRCPC) називає свою модель ШІ bagualu — горщик алхіміка — оскільки вона включає близько 174 трильйонів параметрів, що конкурує за кількістю синапсів у мозку людини. Фактична продуктивність OceanLight зараз становить 5,3 «AI» ExaFLOPS, хоча раніше говорили, що це 4,4 «змішаної точності» ExaFLOPS, що ще раз показує, що показники продуктивності цієї системи, надані NRCPC, не є насправді точними.

Але навіть якщо OceanLight працює повільніше, ніж кажуть, робота зі створення навчальної моделі AI зі 174 трильйонами параметрів є величезною. Вчені з NRCPC повідомили South China Morning Post, що для досягнення гідної продуктивності своєї моделі ШІ в масштабі мозку їм довелося запровадити «внутрішньовузлову орієнтовану на апаратуру оптимізацію», а також реалізувати «гібридні паралельні стратегії» у безпрецедентному масштабі. Враховуючи той факт, що OceanLight має 96 000 вузлів і майже 40 мільйонів процесорів, оптимізація апаратного та програмного забезпечення для цієї системи є великою справою.

Оголошення про безпрецедентну модель ШІ було зроблено через кілька тижнів після того, як Oak Ridge National Laboratory офіційно представила свій Frontier — перший у світі суперкомп’ютер з продуктивністю 1102 FP64 ExaFLOPS у тесті Linpack. Примітно, що NRCPC офіційно не публікувала результати продуктивності свого OceanLight у списку 500 найкращих суперкомп'ютерів.