Інтелектуальне обладнання спрощує навчання нейронних мереж

Великомасштабні моделі нейронних мереж лежать в основі багатьох технологій, заснованих на штучному інтелекті, таких як нейроморфні чіпи, які натхненні людським мозком.

Навчання таких мереж може бути виснажливим, трудомістким і енерговитратним, оскільки модель часто спочатку навчається на комп'ютері, а потім переноситься на чіп. Це обмежує застосування та ефективність нейроморфних чипів.

Дослідники TU/e розв'язали цю проблему, розробивши нейроморфний пристрій, здатний навчатися на чипі, що позбавляє від необхідності переносити навчені моделі на чип. Це може відкрити шлях до створення ефективних і спеціалізованих AI-чипів у майбутньому.

«В основі систем штучного інтелекту, найімовірніше, лежить нейронна мережа», - каже Ван де Бургт (Van de Burgt), доцент кафедри машинобудування TU/e.

Нейронні мережі - це комп'ютерні програмні моделі, натхненні мозком. У людському мозку нейрони спілкуються з іншими нейронами через синапси, і що більше два нейрони спілкуються один з одним, то сильнішим стає зв'язок між ними. У моделях нейронних мереж, що складаються з вузлів, сила зв'язку між будь-якими двома вузлами визначається числом, що називається вагою.

«Нейронні мережі можуть допомогти у розв'язанні складних завдань із великим обсягом даних, але в міру того, як мережі стають дедалі більшими, зростають витрати на енергію та апаратні обмеження», - зазначає Ван де Бургт. “Але є багатообіцяльна апаратна альтернатива - нейроморфні чипи”.

Як і нейронні мережі, нейроморфні чипи натхненні тим, як працює мозок, але імітацію виведено на абсолютно новий рівень. У мозку, коли електричний заряд у нейроні змінюється, він може вистрілити та послати електричні заряди до підключених нейронів. Нейроморфні чипи відтворюють цей процес.

«У нейроморфних чипах є мемристори (скорочення від memory resistors). Це пристрої, які можуть «запам'ятовувати», скільки електричного заряду пройшло через них у минулому», - повідомляє Ван де Бургт. “Це саме те, що потрібно для пристрою, змодельованого за зразком того, як нейрони мозку зберігають інформацію і спілкуються один з одним”.

Але є і нейроморфний каверза - він пов'язаний із двома способами, які люди використовують для навчання обладнання на основі нейроморфних чипів. У першому випадку навчання відбувається на комп'ютері, а ваги мережі відображаються на апаратне забезпечення чипа. Альтернативний варіант - навчання на місці або в апаратурі, але в цьому випадку поточні пристрої потрібно програмувати по одному, а потім перевіряти на помилки. Це необхідно, оскільки більшість мемристорів є стохастичними, і неможливо оновити пристрій, не перевіривши його.

«Такі підходи вимагають великих витрат часу, енергії та обчислювальних ресурсів. Щоб дійсно використовувати енергоефективність нейроморфних чипів, навчання має проводитися безпосередньо на нейроморфних чипах», - підкреслює Ван де Бургт.

Саме цього і домоглися Ван де Бургт і його колеги з TU/e, опублікувавши результати в новій статті в журналі Science Advances. «Це була справжня командна робота, і ініціаторами її були співавтори Тім Стівенс (Tim Stevens) і Евелін ван Доремаеле (Eveline van Doremaele)», - з гордістю говорить Ван де Бургт.

Історія дослідження сягає магістерської роботи Тіма Стівенса. «Під час навчання в магістратурі я зацікавився цією темою. Ми показали, що навчання можна проводити тільки на апаратному забезпеченні. Нема потреби переносити навчену модель на чип, і все це може призвести до створення більш ефективних чипів для застосунків AI», - каже Стівенс.

Ван де Бургту, Стівенсу та Ван Доремаеле, яка 2023 року захистила кандидатську дисертацію з нейроморфних чипів, знадобилася невелика допомога в розробці апаратного забезпечення. Тому вони звернулися до Марко Фатторі (Marco Fattori) з факультету електротехніки.

«Моя група допомагала в розробці схеми чіпа», - каже Фатторі. «Було здорово працювати в цьому міждисциплінарному проєкті, де ті, хто створює чіпи, співпрацюють з тими, хто працює над програмними аспектами».

Для Ван де Бургта проєкт також показав, що чудові ідеї можуть прийти з будь-якої сходинки академічних сходів. «Тім побачив потенціал для використання властивостей наших пристроїв набагато більшою мірою під час свого магістерського дослідження. Тут можна винести урок для всіх проєктів».

Основною проблемою для дослідників стала інтеграція ключових компонентів, необхідних для навчання на одному нейроморфному чипі. «Наприклад, основним завданням було включення компонентів електрохімічної пам'яті з довільним доступом (EC-RAM)», - каже Ван де Бургт. “Це компоненти, що імітують зберігання і спрацьовування електричного заряду, властиві нейронам у мозку”.

Дослідники виготовили двошарову нейронну мережу на основі компонентів EC-RAM з органічних матеріалів і протестували обладнання за допомогою еволюції широко використовуваного алгоритму навчання зворотного поширення з градієнтним спуском. «Звичайний алгоритм часто використовується для підвищення точності нейронних мереж, але він не сумісний з нашим обладнанням, тому ми придумали власну версію», - каже Стівенс.

Ба більше, оскільки штучний інтелект у багатьох галузях швидко стає непосильною тратою енергетичних ресурсів, можливість навчати нейронні мережі на апаратних компонентах за частку вартості енергії є привабливою можливістю для багатьох додатків - від ChatGPT до прогнозування погоди.

Хоча дослідники продемонстрували, що новий підхід до навчання працює, наступним логічним кроком має стати розширення, сміливість і вдосконалення.

«Ми показали, що це працює для невеликої двошарової мережі», - каже ван де Бургт. “Далі ми хотіли б залучити промисловість та інші великі дослідницькі лабораторії, щоб створити набагато більші мережі апаратних пристроїв і протестувати їх на реальних проблемах із даними”.

Цей наступний крок дасть змогу дослідникам продемонструвати, що ці системи дуже ефективні в навчанні, а також у запуску корисних нейронних мереж і систем штучного інтелекту. «Ми хотіли б застосувати цю технологію в кількох практичних випадках», - каже Ван де Бургт. “Я мрію, щоб у майбутньому такі технології стали нормою в AI-додатках”.