Прототип комп'ютера використовує шум на свою користь

На сцену вийшла нова обчислювальна парадигма — термодинамічні обчислення. Можливо, це просто ймовірнісні обчислення під новою назвою. Вони обидві використовують шум (наприклад, спричинений тепловими коливаннями) замість того, щоб боротися з ним, для виконання обчислень. Але все ж це новий фізичний підхід.

«Якщо ви говорите про обчислювальні парадигми, ні, це та сама обчислювальна парадигма», — каже Бехташ Бехін-Айн (Behtash Behin-Aein), головний технічний директор і засновник стартапу з ймовірнісних обчислень Ludwig Computing.  «Але це нова реалізація», — додає він.

У нещодавній публікації в Nature Communications нью-йоркський стартап Normal Computing детально описав свій перший прототип того, що він називає термодинамічним комп'ютером. Він продемонстрував, що той може використовувати шум для інвертування матриць. Також було продемонстровано гауссову дискретизацію, яка лежить в основі деяких застосувань штучного інтелекту.

Зазвичай шум є ворогом обчислень. Однак деякі програми фактично покладаються на штучно створений шум. А використання природного шуму може бути набагато ефективнішим.

«Ми зосереджуємося на алгоритмах, які здатні використовувати шум, стохастичність та недетермінізм, — каже Закарі Белатече (Zachary Belateche), керівник відділу кремнієвої інженерії в Normal Computing. — Цей простір алгоритмів виявляється величезним, від наукових обчислень до штучного інтелекту та лінійної алгебри. Але термодинамічний комп'ютер не допоможе вам перевірити електронну пошту найближчим часом».

Для цих застосувань термодинамічний — або ймовірнісний — комп'ютер починається з того, що його компоненти перебувають у певному напіввипадковому стані. Потім проблема, яку користувач намагається вирішити, програмується у взаємодії між компонентами. З часом ці взаємодії дозволяють компонентам досягти рівноваги. Ця рівновага є рішенням обчислення.

Цей підхід природньо застосувати для певних наукових обчислювальних задач, які вже включають випадковість, таких як моделювання Монте-Карло. Він також добре підходить для алгоритму генерації зображень ШІ, стабільної дифузії, та типу ШІ, відомого як ймовірнісний ШІ. Дивно, але він також добре підходить для деяких обчислень лінійної алгебри, які не є ймовірнісними за своєю суттю. Це робить підхід більш широко застосовним до навчання ШІ.
 
Прототип мікросхеми Normal Computing, який компанія назвала стохастичним процесорним блоком (SPU), складається з восьми резонаторів на основі конденсаторів та індуктивностей та генераторів випадкового шуму. Кожен резонатор з'єднаний з резонатором іншого за допомогою настроюваного з'єднувача. Резонатори ініціалізуються випадково згенерованим шумом, а досліджувана проблема програмується в зв'язки. Після того, як система досягає рівноваги, зчитуються дані з резонаторних блоків для отримання рішення.

Хоча ймовірнісні обчислення та термодинамічні обчислення по суті є однією парадигмою, існує культурна різниця. Компанії та дослідники, які працюють над ймовірнісними обчисленнями, майже виключно простежують своє академічне коріння до групи Supryo Datta в Університеті Пердью. Однак троє співзасновників Normal Computing не мають зв'язків з Пердью та мають досвід у квантових обчисленнях.

Це призводить до того, що співзасновники Normal Computing мають дещо інше бачення. Вони уявляють собі світ, де різні види фізики використовуються для їхнього власного обчислювального обладнання, і кожна проблема, яка потребує вирішення, поєднується з найоптимальнішою апаратною реалізацією.
                                      
«Ми придумали цей термін – фізично-орієнтовані ASIC», – каже Белатече, маючи на увазі спеціалізовані інтегральні схеми. Згідно з їхнім баченням, майбутній комп’ютер матиме доступ до звичайних центральних та графічних процесорів, а також до квантового обчислювального чіпа, термодинамічного обчислювального чіпа та будь-якої іншої парадигми, яку люди можуть вигадати. І кожне обчислення буде надсилатися на ASIC, який використовує фізику, що найбільше підходить для даної проблеми.
                                               

Наразі робота Normal Computing вступає у важливу фазу масштабування. На законах масштабування були зосереджені останні кілька років розробки ШІ. Ці закони масштабування вимагають постійно зростаючої кількості обчислень, і стартапи чіпів з'явилися, щоб задовольнити цей попит. Деякі чіпи намагаються забезпечити більше обчислень завдяки спеціалізації; інші використовують новітні технології, такі як обробка в пам'яті, щоб подолати ключові вузькі місця на системному рівні. Ці методи можуть забезпечити 5-10-кратне покращення продуктивності порівняно з графічними процесорами для деяких випадків використання, але за рахунок технічних або ринкових ризиків. Але навіть цих нових архітектур чіпів буде недостатньо, оскільки моделі ШІ продовжують масштабуватися. Експерти вважають, що протягом п'яти років ЦОД на основі ШІ почнуть стикатися з вузькими місцями у фундаментальній пам'яті та обчисленнях. Зрештою, гонка за створення ШІ полягає не лише в тому, щоб ми могли швидше виконувати домашні завдання або писати електронні листи. Експерти погоджуються, що наступним рубежем інтелекту є розвиток можливостей міркувати про фізичний світ.

Алгоритми, які повинні симулювати та міркувати про фізичний світ, незалежно від того, чи працюють вони на класичних методах моделювання, глибокому навчанні чи на комбінації обох, мають потенціал створити цінність понад 50 тис. доларів. Але щоб фактично виконати цю обіцянку, їм потрібно подолати ключові обчислювальні вузькі місця. Вибірка з траєкторії СДР є складною на сучасному обладнанні. У Normal Computing створюється нове обладнання для прискорення вибірки та нові алгоритми, які можуть міркувати про фізичний світ.

Саме ці застосування зазвичай найбільше хвилюють: від переробки самого обладнання та чіпів до досягнення автономності в транспортуванні та масштабування форм планування та міркувань з вищою точністю порівняно з евристикою, яка є сьогодні.
         

Стратегія охолодження ЦОД для епохи AI