Резервуарні нейронні мережі — новий підхід до AI

Корпорація TDK спільно з Університетом Хоккайдо розробила прототип резервуарного чіпа штучного інтелекту, використовуючи аналогову електронну схему, що імітує мозочок.

Обчислення на основі резервуарних нейронних мереж (Reservoir computing) — це обчислювальна модель, здатна обробляти прості часово-змінні дані та часові ряди, виконувати завдання з низьким енергоспоживанням і високою швидкістю. Концепція, яка контрастує з резервуарними нейронними мережами, — це модель глибокого навчання. З розвитком AI та використанням великих даних в останні роки стали очевидними проблеми обчислювальної обробки величезних обсягів даних і зростання енергоспоживання, а швидке поширення генеративного AI зробило обробку AI все більш залежною від хмари. Традиційні моделі глибокого навчання складаються з вхідного шару, прихованого шару та вихідного шару. Вхідний шар спочатку отримує інформацію, а прихований шар виконує величезну кількість обчислень. Фінальний вихідний шар показує результати навчання. Чим більше прихованих шарів, тим складніші обчислення (близько трильйонів) можна виконати. Однак це призводить до масової обробки даних, що спричиняє збільшення енергоспоживання та затримки.

З іншого боку, резервуарні нейронні мережі складаються з «вхідного шару», «резервуарного шару» та «вихідного шару». Резервуарний шар не обов’язково вимагає обчислень і використовує природні явища, які поширюються з часом. Наприклад, у вхідному шарі як вхідне значення використовується природне явище множинних хвиль на поверхні води. Наступний резервуарний шар надсилає результати поширення поверхневих хвиль та їх взаємної інтерференції до вихідного шару. Останній вихідний шар правильно зчитує стан резервуарного шару та виводить характеристики того, як рухалися хвилі на поверхні води. У резервуарному шарі результати природних явищ надсилаються без необхідності обчислень, тому кількість параметрів, які потрібно коригувати під час навчання, значно зменшується, і завдання можуть оброблятися з низьким енергоспоживанням і на високій швидкості. Тому очікується, що аналоговий резервуарний AI буде використовуватися в завданнях, які вимагають обробки інформації, адаптованої до індивідуальних ситуацій на периферійних пристроях, таких як роботи та людино-машинні інтерфейси, які вимагають високошвидкісної обробки без необхідності широкомасштабних обчислень. Традиційно вважалося, що пристрої резервуарних нейронних мереж важко впровадити в практичне використання. Це пов’язано з тим, що резервуарні нейронні мережі — це не універсальний AI, як глибокі нейронні мережі, а AI, який спеціалізується на обробці даних часових рядів. Крім того, було важко отримати переваги низького енергоспоживання, коли пристрої резервуарних нейронних мереж реалізовувалися в цифрових обчисленнях, і не було конкретних пристроїв резервуарних нейронних мереж, які використовували б фізичні явища для врахування енергоспоживання та високошвидкісних операцій.

Демонстраційний пристрій, який буде виставлений на CEATEC 2025 в Японії, покаже, що користувачі ніколи не зможуть виграти в «камінь-ножиці-папір», що стало можливим завдяки резервуарним нейронним мережам. Цей демонстраційний пристрій визначає жест руки користувача для «камінь-ножиці-папір», поки його пальці ще рухаються, і швидко показує виграшний жест наперед. У грі «камінь-ножиці-папір» є індивідуальні відмінності в русі пальців, і для точного визначення того, що робити далі, необхідно вивчити ці індивідуальні відмінності в реальному часі. Цей демонстраційний пристрій прикріплюється до рук користувачів, рух пальців вимірюється акселерометром, а просте завдання вирішення того, що грати в «камінь-ножиці-папір», обробляється в реальному часі та на високій швидкості на аналоговому резервуарному AI-чипі, що дозволяє користувачам усвідомити «камінь-ножиці-папір, у якому неможливо виграти». Демонструючи один варіант використання за допомогою прототипу чипа, розробленого в цьому проєкті, TDK сподівається сприяти ширшому розумінню резервуарних нейронних мереж і очікує, що це призведе до прискореної комерціалізації пристроїв резервуарних нейронних мереж для периферійних AI-застосувань на ринку.

Нагадаємо, TDK анонсувала нейроморфні пристрої, які імітують великий мозок, використовуючи спінтроніку у 2024 році, як пропозицію для розв'язання соціальних проблем. Цього разу компанія представить резервуарні нейронні мережі, які імітують мозочок з використанням різних фізичних явищ, таких як аналогові схеми, датчики та електронні компоненти. Нейроморфні пристрої виконують складні обчислення з низьким енергоспоживанням, тоді як пристрої резервуарних нейронних мереж спеціалізуються на часово-змінній інформації, такій як «камінь-ножиці-папір», і досягають низького енергоспоживання та швидких обчислень в ультранизькопотужних продуктах, таких як периферійні пристрої, які безпосередньо обробляють дані датчиків. У майбутньому TDK продовжить дослідження резервуарних нейронних мереж у співпраці з Університетом Хоккайдо та сприятиме розвитку «ринку екосистем AI», співпрацюючи з підрозділом Sensor Systems Business Company та TDK SensEI, який розробляє рішення для датчиків у периферійній області.