| 0 |
|
Оскільки системи штучного інтелекту стають більшими та потужнішими, їхні потреби в електроенергії зростають у геометричній прогресії. Проте нове дослідження Массачусетського університету в Амгерсті (UMass Amherst), опубліковане в журналі Nature Communications, доводить: передові можливості AI можуть бути досягнуті за кардинально нижчого рівня енергоспоживання.
Команда вчених під керівництвом Хави Зігельманн (Hava Siegelmann), професорки Коледжу комп’ютерних та інформаційних наук імені Меннінга при UMass Amherst, розробила інноваційну архітектуру AI, яка набагато точніше відтворює ключові аспекти роботи людського мозку. Лабораторія Зігельманн зосередилася на двох взаємопов'язаних цілях: дозволити системам AI навчатися безперервно в режимі реального часу (а не лише під час фіксованої фази попереднього тренування) та радикально знизити витрати енергії на інтелектуальні обчислення.
«Сучасні системи AI неймовірно потужні, але вони також надзвичайно "ненажерливі" в плані електрики, - зазначає Хава Зігельманн. - Наша робота показує, що можна спроєктувати AI, який залишатиметься високоефективним, але працюватиме в рази економніше».
Різниця між сучасним залізом та біологічним мозком вражає. За даними Національних інститутів здоров'я США (NIH), людський мозок містить близько 86 мільярдів нейронів, які працюють паралельно, споживаючи всього близько 20 Ватт енергії - приблизно як маленька світлодіодна лампочка. Натомість навчання найбільших сучасних AI-моделей вимагає десятків мільйонів Ватт і залучає гігантську інфраструктуру дата-центрів.
Однією з причин ефективності людського мозку є його асинхронність. У кожний конкретний момент часу для виконання завдання або самооновлення активується лише крихітна група нейронів.
Натомість сучасні глибокі нейромережі, включаючи ChatGPT або Claude, покладаються на жорстко синхронізовані обчислення на мільйонах чи мільярдах штучних нейронів. Усі оновлення відбуваються одночасно під керуванням єдиного глобального тактового генератора, незалежно від типу завдання. Сучасні мережі змушені витрачати колосальну кількість енергії лише на те, щоб підтримувати цю тотальну синхронізацію.
Раніше вчені вже намагалися створити енергоефективні асинхронні імпульсні (спайкові) нейромережі. Проте вони стикалися з проблемою: алгоритми навчання для таких архітектур сильно поступалися традиційному методу зворотного поширення помилки (backpropagation), який забезпечив успіх сучасного AI.
Команда Зігельманн змогла об'єднати переваги обох підходів. Результатом розробки стала архітектура ANT (Asynchronous Neural Turing networks - Асинхронні нейронні мережі Тюрінга). Вона повністю усуває потребу в глобальній синхронізації, але зберігає диференційовані нейронні властивості, що робить її придатною для класичного ефективного навчання.
«Головний виклик полягав у тому, щоб прибрати глобальний годинник синхронізації, не втративши обчислювальну потужність та адаптивність, - пояснює професорка. - Ми створили нові принципи проєктування, які дозволяють зберігати інформацію під час асинхронних оновлень».
Завдяки тому, що ANT активує й оновлює лише ті нейрони, які потрібні для конкретного обчислювального кроку, енергоспоживання системи знижується на кілька порядків. При цьому теоретично архітектура здатна повністю відповідати потужності сучасних глибоких нейромереж.
Ця робота базується на багаторічних дослідженнях Зігельманн у сфері теоретичних нейрообчислень - зокрема, на її фундаментальному доведенні 1995 року про те, що рекурентні нейромережі мають обчислювальні можливості, порівнянні з машинами Тюрінга.
Зараз дослідницька група працює над подальшим підвищенням енергоефективності ANT та розширенням її можливостей для безперервного навчання на льоту. Подібний підхід є критично важливим для автономних та інтелектуальних систем, що працюють в умовах жорстких енергетичних обмежень: гуманоїдних та промислових роботів; периферійних обчислювальних пристроїв (Edge computing); автопілотів та безпілотного транспорту; наступних поколінь адаптивного машинного інтелекту.
Дослідження було виконано за фінансової підтримки Національного наукового фонду США (NSF) та Науково-дослідного управління ВПС США (AFOSR).
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
