Метаморфозы Numenta

Когда технологии были низкими, а надежды - высокими, ИТ и ИИ были практически синонимами: расчет баллистических траекторий, автоматизация проектирования и делопроизводства и прочая конторская канитель виделись, так сказать, скромными цветочками на обочине столбовой дороги, ведущей к построению искусственного разума.

Теперь от былого романтического горения осталось лишь нескольких мерцающих в серой мгле неприметных искр. Одна из них - основанная в 2005 г. компания Numenta (numenta.com), статья о которой была опубликована в КО в 2007 г. За мерцанием ее удобно было следить, подписавшись на фирменную новостную рассылку; в особенности ярко выглядели новости годичной давности: выходцы из Numenta организовали компанию Vitamin D, производящую ПО с функцией распознавания человеческих фигур для дешевых и сердитых систем видеонаблюдения на базе веб-камер. Это выглядело серьезным шагом на пути к массовому признанию теорий главы Numenta Джефа Хокинза (Jeff Hawkins), казавшихся слишком оторванными от реальности и нуждающимися в масштабных поверках практикой.

Недавние же новости от Numenta стали самыми сенсационными за всю историю существования компании и да и всей концепции HTM (Hierarchical Temporal Memory). Новостей, собственно говоря, три: одна - плохая, вторая - настораживающая и третья... Крепко озадачивающая.

Во-первых, Д.Х. заявил о нежелании в обозримом будущем заниматься системами машинного зрения. Причина - недостаточность объемов памяти и быстродействия современных компьютеров для реализации нового поколения HTM-технологий. Проект Vitamin D не закрывается, но перестает котироваться в качестве флагманской разработки и совершенствование задействованных в нем HTM-алгоритмов оказывается под большим вопросом. Вместо этого активизируется сотрудничество администрацией сайта Forbes в области click-prediction, - т.е. алгоритмов моделирования предсказания поведения посетителей с целью оптимизации интерфейса а т.ж. предоставляемого им рекламного и прочего контента. Насколько эта тема скучнее машинного зрения! Насколько дальше от возвышенных идеалов ИИ! Впрочем, можно предположить, что лет через 20 доведенные до совершенства ИИ-модели от Forbes и Numenta будут купены Google TV Inc. и их можно будет запускать в режиме автопилота, - в таком случае пользователь сможет возложить задачу взаимодействия с броузером на электронный неокортекс своего двойника и спокойно расслабиться перед экраном компьютера, как перед старым добрым телевизором (если лишенные клавиатур и мышек планшеты - первый шаг в переходе от активного восприятия информации из Сети к пассивному, то интеллектуальные методы предсказания кликов могут стать последним, прошу простить за оффтопик).

Во-вторых, компанию покинул второй человек в Numenta и давний соратник Д.Х. в деле пропаганды HTM-технологий Джордж Дилип (George Dileep).

В-третьих (и, конечно, в-главных): почти всё, что вы знаете о технологии HTM образца 2007 года, вам придется забыть (даже на самый логотип Numenta отныне не стоит обращать особого внимания, ибо в свете радикальных нововведений вид его перестает служить символом устройства HTM-машины).

Напомню, что HTM-машины первого поколения описывались древовидными графами, узлы которых служили метафорами нейронов. Трудно было сказать, о перспективности этой конструкции, зато она безусловно радовала глаз простотой и естественностью концепции. Увы, теперь особо не порадуешься: для самого поверхностного понимания обновленных концепций Numenta придется поднапрячься (особенно поначалу, когда приходится продираться через первые абзацы, изобилующие непривычной терминологией).

Итак, что же представляют собой новые HTM-машины (выход доступной всем желающим платформы для программирования которых обещается в середине 2011 г.)?

Вот укороченный и упрощенный пересказ основополагающего фирменного документа (который Д.Х. сотоварищи обещают регулярно обновлять по мере появления у них новых идей).

HTM-машина есть иерархия регионов (regions). Хотя в зависимости от решаемых машиной задач регионы могут иметь различную топологию и размерность, мы для наглядности будем представлять их в виде горизонтально ориентированных параллельных плоскостей. Нижний регион сообщается непосредственно с массивом обрабатываемых данных, а верхний интерпретирует эти данные на более высоком уровне абстракции (т.е., если ориентированную на обработку изображений HTM-машину когда-нибудь удастся заставить распознавать выражение оказывающихся в поле зрения веб-камеры человеческих лиц, то отличия между испугом и яростью найдут отражение в состоянии верхнего региона). В нейрофизиологии нижним и верхним регионам отвечают внутренние и внешние неокортексные слои (здесь и алее нейрофизиологические аналогии будут описываться курсивом). Внешняя оболочка головного мозга высших млекопитающих расслаивается на несколько слоев, характеризуемых единообразием типов и организации составляющих их нейронов. Количество этих слоев достигает 6 (в зависимости от участка), а толщина составляет десятые доли миллиметров. Совокупность поступающей от рецепторов информации (напр., сигналов от фоторецепторов сетчатки), поступает для первичной обработки во внутренний слой неокортекса (где из анализируемого изображения вычленяются линии, углы и пр. базовые элементы). В свою очередь состояние внутреннего слоя служит исходными данными для работы следующего слоя (прилегающего к предыдущему извне), который способен распознавать более сложные объекты, и т.д. вплоть до внешнего слоя, по-видимому, отвечающего за абстрактное мышление, что бы это последнее словосочетание ни значило (описывая назначение слоев я для красного словца пару раз погрешил против истины, которая для освещения в моем посте слишком сложна)

Регион есть совокупность колонок (columns), составленных, в свою очередь, из нескольких клеток (cells). Понятие колонки также заимствовано из нейрофизиологии: мозг человека насчитывает около полумиллиона неокортексных колонок, каждая из которых состоит из примерно 60 тыс. нейронов., в некоторых условиях проявляющих некоторые общие черты.

По мнению Д.Х.&Co., для решения большинства практических задач достаточно четырехклеточных колонок:



На этом рисунке серые клетки находятся в активном состоянии, а черные - в предсказывающем (подробно о состояниях - чуть ниже).

Надо заметить, что в сообществе нейрофизиологов нет единодушия в отношении представлениям о разбиении неокортекса на колонки, ибо вне пределов зрительного отдела мозга границы между колонками оказываются слишком размытыми. Некоторые в релевантности колоночной теории сомневаются и считают ее вредным упрощением, чреватым недооценкой сложности истинного положения вещей. Должно быть, Д.Х. выработал в своем неокортексе слепое пятно, позволяющее ему этих сомнений не замечать. Впрочем, иногда лучше исключить их из картины видения мира сомнения, чем допустить зыбкость фундамента, на котором возводится строение, почитаемое главным делом жизни: Колумб не мог позволить себе сомневаться в том, что плывет в Индию: иначе муки сомнений могли бы подорвать его волю к успеху, который в результате превзошел самые смелые ожидания.

Думается, по тем же причинам твердокаменная уверенность в колоночной теории характеризует и Генри Маркрама (Henry Markram) из проекта Blue Brain, поставившего целью моделирование неокортекса млекопитающих на основании экспериментальных данных: стоит отказаться от колоночной теории, и серое вещество превратится в непроходимый лес, к постижению структуры которого станет до такой степени неясно как подступиться что придется заняться чем-то менее интересным.

Вообще-то кажется, что недавняя метаморфоза HTM сблизила представления Д.Х. и Г. Маркрама; будет закономерно, если еще лет через пять они решат объединить усилия. Пока что они, кажется, сильно расходятся в оценке вычислительной мощности типичного нейрона: Макрам уподобляет нейрон в современному ноутбуку, а Хокинзу, он видится чем-то попроще, - вроде электронных часов.

Однако, вернемся к новому HTM-глоссарию.

Клетка (метафора нейрона) обладает телом и множеством не показанных на вышеприведенной иллюстрации горизонтальных (проксимальных) дендритов, связывающих ее с другими клетками региона. Кроме того, все клетки одной колонки связаны с общим вертикальным (дистальным) дендритом, проводящим сигналы снизу вверх и характеризующимся коэффициентом усиления (boosting factor).

В местах связи с другими клетками и рецепторами дендриты снабжены контактными узлами (синапсами), каждый из которых характеризуется показателем проницаемости (permeance). В любой момент времени аксон пребывает в оном из двух состояний, - активном или пассивном. Если уровень сигнала в месте контакта больше проницаемости аксона, то он активизируется, и наоборот (как видите, проницаемости нельзя путать с весовыми коэффициентами, характерными для традиционных нейронных сетей).

В каждый момент времени клетка может пребывать в активном, пассивном, предсказывающем (predictive), и в учебном (learn state) состояниях.

Здесь упрощенно изображен нейрон, узел типичной нейронной сети и HTM-клетка (синие точки символизируют активные и пассивные синапсы горизонтальных дендритов, а зеленые - вертикального). Правый вентиль "или" отражает логику работы клетки, переводимой в предсказывающее состояние в случае, когда уровень сигнала, поступающего хотя бы от одного горизонтального дендрита, превышает пороговое значение. Нижний вентиль объединяет флаги активного (левый вход) и предсказывающго (правый вход) состояний для получения сигнала, направляемого для обработки в вышестоящем регионе (при этом флаг активного состояния участвует в работе горизонтальных дендритов).

Работает новая HTM-машина так.

Для каждого региона очередной рабочий цикл начинается с определения уровня сигнала вертикальных дендритов (уровень равен произведению количества активных аксонов на коэффициент усиления дендрита). Дендриты с наивысшими уровнями сигналов подавляют активность соседей (интенсивность такого подавления выбирается таким образом, чтобы в каждый момент времени активность проявляло небольшое количество от их общего числа, - напр., 2%). Если вертикальный дендрит оказывается активным слишком часто, то его коэффициент усиления уменьшается, (и, разумеется, наоборот).

Активные вертикальные дендриты активизируют клетки колонок следующие образом. Если некоторые из клеток колонки находятся в предсказывающем состоянии, они переводятся в активное состояние, тогда как прочие клетки остаются в пассивном. Если же ни одна из клеток колонки не находится в предсказывающем состоянии (т.е. возбуждение вертикального дендрита оказалось неожиданностью), активизируются все клетки колонки. Это делает HTM-машину готовой интерпретировать неожиданный сигнал множеством различных способов (видя на белом листе бумаги кружок, мы готовы интерпретировать его как букву, как цифру или как изображение бублика - а зависимости от контекста, который, возможно, прояснится на следующих страницах).

Одна из или несколько клеток активной колонки (наиболее успешно справившиеся с предсказанием) переводятся в учебное состояние, позволяющее им участвовать в формировании горизонтальных (отвечающих за перевод в предсказывающее состояние) синапсов своих соседей.

Пересказывающее состояние клетки называется таковым потому, что в момент времени t горизонтальные синапсы поставляют ей информацию о состояниях, в которых другие клетки пребывали в момент времени t-1. В ходе обучения HTM-машины горизонтальные синапсы региона приобретают вид, позволяющий региону адаптироваться к характерным изменениям исходных сигналов во времени, предсказывать их изменение в будущем и отфильтровывать их от шумов.

Совокупность активных колонок трансформирует входной сигнал для обработки вышестоящими регионами в так называемом "разреженно-распределенный вид" (sparse distributed representation). Происходящее при этом уменьшение объема информации на 1-2 порядка обуславливается теми же причинами, по которым аудиокнига занимает много больше места, чем текстовый файл: биты последнего описывают информацию на более высоком уровне абстракции.

Озадачились? То-то.

Не то чтобы я ставил под сомнение авторитет Д.Х. и мобилизованных им светлых умов из Калифорнийского Университета в Беркли, но некоторые детали в описании новых HTM-машин наводят на мысли об отчаянных попытках ухватиться за соломинку после того как дискредитировавшая себя прежняя модель пошла ко дну. Взять, к примеру, разрежающе-распределяющую трансформацию, достигаемую комбинированием взаимного подавления активности соседних дендритов и варьирования коэффициентов усиления. Я подозреваю что эта трансформация родственна методу имитации отжига, и если мои подозрения верны, то разреженно-распределенные образы изображений, разнящихся парой пикселов, могут не иметь между собой совершенно ничего общего. Неужто нижнеуровневая обработка информации в зрительном отделе настоящего мозга моет характеризоваться подобной непредсказуемостью результатов?..

Впрочем, практика - критерий истины, так что придется запастись терпением до середины 2011 г.