`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Андрей Зубинский

IBM и DARPA, искусственные нейросистемы, а также где лежит миллион $

+88
голосов

Новость о появлении «процессора» TrueNorth от союза IBM и DARPA буквально проскочила в поле зрения, отшумела за день и утонула в потоке «более актуального». Как обычно, прозвучали обязательные «революция» (в основном, в изданиях) и «круто» (во всяких неформальных «народных источниках»).

Попробую восстановить о чём вообще идёт речь и почему DARPA не поскупилась на $53 миллиона инвестиций в исследовательскую программу, которая на деле ещё только начинается.

Задача оказалась не совсем простой, не только потому что в самой IBM в по сути одном высокоуровневом проекте сосуществуют параллельно множество подпроектов, но и потому что вся эта машина на деле реализовала не только и даже не столько конкретное овеществление (в пригодном к массовому производству состоянии, но вот об этом как раз потом), сколько целую инфраструктуру, включающую результаты фундаментальных биологических исследований (очень долгих, с 1960х годов), концептуальные и высокоуровневые программные модели, кросс-средства разработки etc.

Начнём с «имитации человеческого мозга», о которой упомянули чуть ли не все.  На деле в основе проекта TrueNorth (название заимствовано из геодезии, это «истинный», а не магнитный, северный полюс, уж не знаю, может, в IBM специально выбрали такое «холодное» название, чтобы как раз подчёркнуто избавиться от неизбежного «очеловечивания» технологии во всём научно-популярном) вовсе не мозг «неизвестного человека», а результаты исследований мозга неисчислимого множества многострадальных лабораторных макак.

Подпроект CoCoMac (Collation of Connectivity data on the Macaque brain, сопоставления экспериментальных данных о соединении нейронных сетей мозга макаки) сам по себе – громадный труд, объединяющий результаты 410 анатомических исследований и 2500 проб самых разных времён. В итоге построена модель мозга, по заявлениям специалистов IBM превосходящая что в масштабах, что в степени детализации, всё существовавшее ранее примерно в 3 раза (и никаких оснований сомневаться в этом заявлении нет). Теперь всё накопленное, структурированное и аннотированное, доступно специалистам в виде единой открытой базы данных (или даже знаний). Кому интересны междисциплинарные детали проекта, в них нет никакой тайны. В деталировке ограничусь лишь очевидным фактом – исследователей CoCoMac большего всего интересует структура «длинных соединений» мозга, то есть, аксонная структура. Факт сам по себе очевидный – если производится попытка построить действующую модель фрагмента нейронной структуры на основе небиологических технологий, неизбежно проявится фундаментальное ограничение технологически доступной элементной базы – она уже позволяет реализовать много «соединений» в пределах одного полупроводникового кристалла, но вот количество физических выводов реальной микросхемы, в которую кристалл «упакован», имеет реальные ограничения. В IBM это прекрасно понимают, и единичный, даже с выдающимися на сегодня показателями, «процессор» TrueNorth – далеко не то, на что в IBM замахнулись. А большие сети таких «процессоров» требуют реально очень хорошего понимания принципов работы биологических сетей, в которых длина аксонов может достигать уже «вполне инженерных» единиц метров (например, у нашего биологического вида homo sapiens).

Теперь собственно аппаратная модель нейрона. Если кто-то впечатляется громкими объявлениями «очередной революции», поспешу охладить пыл – аппаратные модели нейронных сетей имеют очень продолжительную (более чем двадцатилетнюю) историю, о которой написан целый трактат в Университете Беркли, я постараюсь почти не затрагивать этот обширный документ, изобилующий библиографией, разве что скажу – некоторые серийно выпускавшиеся модели «нейронных сетей в виде микросхем» были уже устаревшими в 1997 году.

Так что о «революциях» мы не будем, а вот о последовательной эволюции поговорим. Потому что TrueNorth преподносит некоторые ожидавшиеся (и не очень) сюрпризы.

Описанию модели нейрона TrueNorth посвящён отдельный документ 2013 года, из которого видно, что в IBM изначально работали не только над аналоговой или функциональной моделями, а и над классическим бинарным вычислителем весьма скромных масштабов – модель нейрона потребовала для реализации 1272 логических вентиля (для сравнения – ядро очень скромного 32-битового встраиваемого процессора ARM Cortex M0, считающееся сопоставимым по сложности с многими 8-битовыми конкурентами, по числу вентилей «сложнее» примерно в 10 раз). Причём примерно четверть используемых логических вентилей в «бинарно-вычислительном» нейроне TrueNorth фактически нужны для моделирования аналогового несовершенства биологической системы (на 384х логических вентилях создан генератор псевдослучайных чисел). Ещё раз напоминаю – речь идёт о TrueNorth образца 2013 года, который всего года назад считался «очень большим» - 256 нейронов, 65535 синапсов («коротких соединений», коммутатор 256x256), 256 аксонов («длинных соединений», для формирования сетей из отдельных микросхем).

Проходит всего год, и IBM заявляет новый TrueNorth, с миллионом нейронов (увеличение показателя – в 3900 с лишним раз!) и с 256 миллионами синапсов (рост показателя – в те же 3900 раз). При этом за год никаких сверхреволюций (и даже просто мелких «переворотиков») в полупроводниковой технологии не наблюдалось, а новый TrueNorth уже существует «в железе».

Что же произошло?

В принципе, ничего непредсказуемого – победил исторически проверенный инженерный опыт. 1272 логических вентиля, реализующих модель нейрона, были заменены крайне примитивным (не в придумывании, в реализации) функциональным вычислителем, принцип действия которого соответствует требуемой задаче. Описание всего 10-транзисторной функциональной ячейки, моделирующей нейрон как динамическую систему, есть в статье исследователя IBM Джона Артура (John Arthur, “Silicon-neuron design: A dynamical systems approach” 2010), кому решение задачи интересно, статью можно отыскать. 1272 логических вентиля – это примерно («на глаз») в 4000 раз больше, чем 10 транзисторов функционального вычислителя. Причём, если следить за датами публикаций, в IBM «обкатывали» сразу несколько конкурирующих вариантов реализации действительно большой нейронной сети на одном кристалле, и после явного технологического ограничения (площадь кристалла-то конечна), выиграл в итоге классический инженерный подход (как он выиграл в своё время в функциональном вычислителе, встроенном в любой телевизор – фильтре на поверхностных акустических волнах).

Вторым и очень приятным (особенно для практиков) следствием применения функционального подхода стало энергопотребление. Оно тоже совершенно закономерно снизилось, и новый TrueNorth потребляет всего 70 милливатт. Даже не представляю, какой бы это был «утюг» при классическом вычислительном подходе и заявленных параметрах.

Обо всей инфраструктуре, которой в IBM уже «обрастили» буквально «взорвавшийся» (3900-кратное улучшение показателей всего за год, при мизерном потреблении энергии – это взрыв) TrueNorth, даже не буду ничего говорить, всё нужное всем желающим доступно. Поговорю о другом и главном. Чего хочет IBM от внезапно появившегося и теперь уже (с учётом масштабов) совершенно нового класса вычислителей.

Во-первых, начнём с очевидного. Дешёвым TrueNorth в экстремальных конфигурациях не будет, и это совершенно однозначно. Давайте подумаем о кристалле реализации этой машины. Большую площадь кристалла должен занимать (и занимает) реализованный на основе статической памяти коммутатор «ближних соединений» между нейронами. Площадь области «моделей нейронов», по логике,  должна быть совсем скромной. Статическая память – очень дорогой узел во всех микросхемах. И я не уверен, что IBM в промышленных масштабах нарушит негласное соглашение индустрии и устроит «погром на рынке цен встраиваемой SRAM». Так в индустрии не поступают, не принято.

Но. Машины TrueNorth более скромной конфигурации крайне реалистичны как массовые, и IBM их уже открыто нацеливает куда? Правильно, туда, куда нацелено сейчас всё – в область IoT, Internet of Things. И, даже мне не кажется, это будет реально «свежая кровь». Для IBM и её решений в области нейровычислителей (или «когнитивного компьютинга», как кому нравится) это самый короткий путь к коммерциализации технологии (очень специфической и совершенно «не обкатанной» массовой аудиторией практикующих разработчиков). «В прицел» IBM попадают сразу и встраиваемые IoT-вычислители (например, для решения самых разных задач распознавания образов, в том числе и в первую очередь далеко не очевидных, sensor fusion как «локальная подготовка более лучших данных» действительно требует энергоэффективного решения таких задач в реальном времени), и «супермашины распознавания образов и анализа данных» датацентров. Так что история коммерциализации обещает быть очень интересной, и кто знает, через сколько лет спрос на «когнитивных программистов» превысит спрос на «традиционных».

Только во всём этом есть одно большое «но». Безусловно, быстродействие небиологических моделей нейронных сетей несоизмеримо выше, чем у своих «живых» прототипов. Но за биологическими сетями – миллиарды лет непрерывной эволюции. Так что основная битва за «нейровычислители» будет, вероятнее всего, не в аппаратных моделях (они, как раз, развиваются очень хорошо), а в алгоритмике быстрого машинного обучения (самообучения), например. И, естественно, в моделировании систем. Никто же не будет десятилетиями обучать нейронную сеть «правильно» реагировать на редко происходящие в физическом мире события, это непозволительная роскошь.

Так что DARPA и IBM как бы нарисовали будущим программистам и IT-специалистам обширную область вероятного «повышенного спроса»: междисциплинарное высокоуровневое моделирование и машинное обучение. Впрочем, реальные специалисты в этих областях уже вовсе не бедствуют, насколько я информирован.

На исчерпывающее я не замахивался (это было бы глупейшей дерзостью), но чуть больше, чем «модель человеческого мозга» и чуть меньше, чем «очередная революция, которая никого не касается», надеюсь, получилось.

Теперь пару слов о тоже какой-то почти фантастике, но всё же, мало ли. Google объявила всемирный конкурс с призовым фондом в миллион долларов. Всего-то, что требуется от участников - зарегистрироваться (до 30го сентября), поработать и представить образец AC/DC преобразователя с максимально возможным КПД и удельной мощностью выше 50 Ватт на кубический дюйм (это, на мой взгляд, ключевые требования, прочие по ссылке). Google выберет из предложений претендентов лучшее - и миллион долларов в кармане. И интересно, и денежно, да-с. Конечно, очень хочется верить, что найдутся высококлассные конструкторы систем питания, элементная база (необходимая, а не "какая есть"), покой для хорошей работы и много ещё всяких факторов. В общем, если кто-то решится сражаться - искренне желаю победы, готов за бесплатно написать о победителях и сделать хорошие фотопортреты :)

Откланиваюсь.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+88
голосов

Напечатать Отправить другу

Читайте также

Так кто же сильнее Слон или Кит?
Быстро-быстро пробежаться по однажды заложенному алгоритму, выдать результат (упереться в тупик в не предусмотренной ситуации), или сравнительно долгая "дрессировка", и маленькое чудо видения целого в разрозненных фрагментах на выходе?

>> "Никто же не будет десятилетиями обучать нейронную сеть «правильно» реагировать на редко происходящие в физическом мире события, это непозволительная роскошь."

Нет конечно. Статистика накапливается давно, а "влить" данные в процессор минутное дело.
"Непозволительная роскошь" теперь безвозмездно генерировать данные ).

Невже ще не досягнуто межі у конструюванні блоків живлення?
Як я пам'ятаю - зробити AC/DC перетворювач була моя мрія у 1998 році, але останню версію плати, я так і не наважився включити на робочу напругу, та й вже з'явилась на той час у мене ідея використання мікропроцесора для керування силовими елементам (вони тоді подешевшали), потім вільного часу не стало, а зараз вже і не знаю чи працює мій осцилограф, але ідея цікава, в тому плані що цікаво було б відслідковувати за розвитком подій у цій галузі - не підкажете де можна почитати на цю тему новини якісь?
Чи то використовуються зараз для керування силовими елементами блоків живлення мікропроцесори?
А що стосується наявності елементної бази, то у 1998 році мені прийшлося для деяких логічних елементів зробити тестові плати і перевіряти їх перед покупкою на радіо ринку, бо половина були непрацездатні взагалі, а з тих що працездатні значна частина не відповідала заявленим характеристикам. Не думаю, що зараз картина значно помінялася і не можна нарватися на неліквід.

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT