Очки дополненной реальности это очень просто

17 февраль, 2012 - 13:28Павел Молодчик

Должен сообщить, что мини-расследование, предпринятое в ходе подготовки поста, посвященного очкам дополненной реальности (Augmented Reality или AR) Vuzix, оказалось направленным по несколько ложному следу. Оправданий у меня два: во-первых, -- туманность содержащихся в пресс-релизах сведений, для прояснения которых нет иного способа, кроме штудирования фирменных патентов, многочисленность и тематическое разнообразие которых обусловлено стремлением Vuzix огородить обещающую вскоре стать плодородной ниву производства микродисплеев для AR-очков во всевозможных направлениях, включая футурологические. Кстати сказать, в том, что касается подготовки к патентным войнам, Vuzix идет вровень со своим ближайшим конкурентом -- израильской компанией Lumus, которая также выставлялась на CES (но, насколько можно судить по блогам, ее очки произвели на посетителей меньшее впечатление, -- вероятно, из-за относительно громоздких оглоблей, затрудняющих мимикрию под обычные солнцезащитные очки).

А во-вторых -- граничащее с безответственностью использование фирменными маркетологами термина "голограмма", побудившее меня при написании того не вполне релевантного поста обратиться к патентам, связанным с голографическими дисплеями.

Короче говоря, вот к какому выводу я пришел, вникнув в тему поглубже: в противоположность моим первоначальным догадкам, стекла демонстрировавшихся на CES AR-очков (то есть, так называемые Light-guide Optical Elements, или, для краткости, LOE), по-видимому, не содержат активных элементов. Голографическими же они являются примерно в той же мере, что и рассматриваемая вами в данный момент страница: о ней можно сказать, что она не имеет глубины, но можно сказать и так, что имеет глубину 0. А изображение, имеющее глубину, можно назвать объемным, и, в некотором смысле голографическим, не так ли?.. Особенно, если надо произвести впечатление на акционеров и блоггеров, обеспечивающих бренду бесплатную рекламу. Ох уж эти маркетологи!

Однако, что с того, что в LOE нет активных элементов? Их утрапрецизионность, микроминиатюрность и хитроумность все равно заслуживают нашего внимания и восхищения. Проиллюстрируем реализуемую ими идею с помощью картинок, нарисованных мною по мотивам иллюстраций к патентам:

Очки дополненной реальности это очень просто

а, б) Источником изображения в AR- и VR-очках и дисплеях служит миниатюрный экран (напр., LCD или OLED), который далее мы для краткости станем называть просто источником. Приблизив его к глазу мы не можем на нем сфокусироваться, а отдалив -- не можем рассмотреть. В принципе, на варианте а) разработчикам можно бы и остановиться: достаточно просто подождать, пока среди населяющих планету миллиардов возникнет случайная генетическая мутация, сообщающая глазам своих носителей способность переключаться в режим "супер-макро". Не имея возможности предаваться разнузданным AR-наслаждениям, остальное население заскучает, перестанет размножаться и освободит жизненное пространство для людей с новым видением, что устранит нужду в LOE и прочих технических ухищрениях.

в) Те, кто не согласен с этим моим планом, вооружаются лупой (т.е., собирающей линзой). Этот вариант (слишком громоздкий для каких бы то ни было очков) используется большинстве VR-шлемов, а т.ж. в диаскопах.
Очки дополненной реальности это очень просто

Очки дополненной реальности это очень просто
Здесь (это по-прежнему вид сверху) изображена попытка уменьшить габариты конструкции в) за счет использования двух зеркал. Идея эта лежит на поверхности, ибо зеркала -- стандартный способ уменьшения габаритов оптического тракта: вспомните о зеркальных биноклях и телескопах. Как видите, результат лучше вписывается в очёчный форм-фактор: источник можно прикрепить к правой оглобле, а зеркало повторного отражения (станем называть это зеркало приёмным), сделать полупрозрачным. Тогда пользователь узрит окружающую действительность и сможет смотреть фильмы во время пешей прогулки или читать электронные письма за рулем. Наверняка распространение AR-очков (которое представляется весьма скорым и вероятным) ознаменуется появлением законов, запрещающих пользоваться ими водителям; но я не представляю, как исполнение этих законов будет контролироваться: ведь снаружи включенные солнцезащитные AR-очки от выключенных отличить непросто, разве что если присмотреться к глазу носителя, на поверхности которого вместо реальной реальности отражается улучшенная. Кстати сказать (уж простите за столь внезапное и пространное отступление), да будет вам известно, что AR-очки Lumus и Vuzix суть продукты конверсионных технологий, ибо в их появлении на свет активную роль сыграл Пентагон (без DARPA дело тоже, конечно, не обошлось), нуждающийся в легких и надежных наглазниках, упрощающих пользование вертолетными пушками и прочими человекоубийственными устройствами. Следует ли в связи с этим обстоятельствам тем AR-очкарикам, что исповедуют индуизм, опасаться ухудшения кармы? Решая этот важный вопрос, примите к сведению, что заказчики из правительственных ведомств предполагают применять AR-очки для таких добрых дел, как повышение эффективности работы спасателей, борющихся с поседствиями гуманитарных катастроф. К примеру, в 2005 г. новоорлеанским спасателям во время наводнения приходилось тратить драгоценное время, изображая на фасадах осмотренных ими домов с помощью обычных баллончиков с краской условные обозначения, кодирующие время осмотра, количество обнаруженных и эвакуированных обитателей и т.д. Читабельность этих граффити оставляла желать лучшего, -- в особенности после нескольких обновлений, в ходе которых они наслаивались друг на друга. Продемонстрированные на CES AR-очки предоставляют службам гражданской обороны техническую базу для развертывания системы, позволяющей наносить на реальные строения виртуальную маркировку и т.о. координировать действия с беспрецедентной оперативностью.

Вернемся, однако, к двухзеркальной конструкции. Одно в ней плохо: угловой размер виртуального экрана при использовании такого оптического тракта оказывается зависимым от глубины последнего (d). Несложные тригонометрические выкладки свидетельствуют, что достижение более чем скромного углового размера в 8о требует 12-милиметровой глубины. А 8о -- это по нынешним меркам очень мало (хотя и достаточно для чтения sms). Говоря предметнее, это вот примерно сколько:
Очки дополненной реальности это очень просто

Более удобные и современные углы охвата требуют глубин, исчисляемых сантиметрами, и, т.о., вовсе несовместимых с очёчным форм-фактором.

Чтобы решить эту проблему (т.е., чтобы увеличить угловой размер формируемого изображения и при этом избежать увеличения глубины оптического тракта), изобретатели LOE усовершенствовали двухзеркальную конструкцию, рассредоточив вместо одного-единственного "глубокого" приемного зеркала в поле зрения пользователя массив "мелких" приемных зеркал (а т.ж. изменив траекторию взаимодействующих с ними лучей). Один из принципов реализации этой идеи (изложенной в патенте Vuzix) изображен на нижеприведенном рисунке.

Очки дополненной реальности это очень просто

Лучи, исходящие от источника и пропущенные через коллимирующую линзу (ни источник, ни линза на рисунке не показаны; а что касается коллимации, то это -- просто-напросто свойство собирающих линз сообщать параллельность лучам, испускаемым находящимися в фокальной плоскости объектами)... Так вот, лучи эти, как видите, вводятся в толщу дисплея и падают на зеркало, выделенное на рисунке зеленым цветом. После ряда последовательных отражений они падают на одно из крохотных приемных зеркал (выделены красным), направляющих их туда, где находится (или может находиться) пользовательский зрачок. При падении на поверхность дисплея изнутри под острым углом свет претерпевает полное внутренне отражение и остается в LOE. Свет же, падающий поверхность под приблизительно прямым углом, вырывается наружу.

Попутно отметим, что этот рисунок проясняет происхождение названия "световодный элемент": дело тут в том, что характер распространения света в объеме LOE вызывает ассоциации с оптоволоконным кабелем.

Изображение, формируемое показанным здесь дисплеем, разрывается в поле зрения пользователя на 8 столбцов. Если этого мало, то при практической реализации количество приемных зеркал можно увеличить. К счастью, вертикальные границы зеркал не очень-то режут глаз, ибо оказываются расфокусированными (в отличие от транслируемого ими изображения, которое находится в фокусе).

Зато эти зеркала отчетливо видны снаружи. Так что если вы -- девица, на которую заинтересованно поглядывает владелец очков с вертикальными рисками, знайте: возможно, он пытается проверить ваше семейное положение в профиле на facebook. Хотя, дело может обстоять и так, что он купил муляж дорогих AR-очков в магазине китайских товаров и нацепил их для форсу, желая произвести на вас впечатление. В любом случае, не стоит обращать на него внимания, т.к. это неприятный закомплексованный тип с морщинистым носом. Вот как он выглядит по версии художника, проиллюстрировавшего патент:
Очки дополненной реальности это очень просто


Другой вариант LOE устроен чуть сложнее. Зато он, по-видимому, обеспечивает лучшее качество и/или является более простым и/или дешевым в производстве т.к. именно его, насколько я понял, Lumus и Vizux демонстрировали посетителям CES.

Иллюстрация, приведенная в фирменных пресс-релизах весьма зрелищна и в той же степени невразумительна.

Очки дополненной реальности это очень просто

Вот, как примерно выглядит эта конструкция, будучи несколько упрощена и представлена в горизонтальном разрезе.

Очки дополненной реальности это очень просто

Как видите, в данном случае приемные зеркала отчасти прозрачны, а разрыва изображения на столбцы не происходит, ибо поле зрения они перекрывают полностью и без просветов. Последовательно проникая через зеркала и частично отражаясь в направлении пользовательского зрачка, лучи постепенно затухают.

Обратите внимание на равномерность распределения лучей, направляемых к зрачку, вдоль LOE. Объяснить ее просто, если вы мысленно спрямите луч-источник, представив, что вместо последовательных отражений от внутренних поверхностей LOE он попадает в зеркально отраженные воображаемые копии последнего. При этих преобразованиях приемные зеркала и их копии образуют множество параллельных отделенных равными промежутками прямых. Ясно что, что абсциссы точек их пересечения с лучом также отделены равными промежутками.

Прозрачность приемных зеркал неодинакова: ясно, что если первая преграда отнимает у луча 20% исходной энергии, то вторая должна отнимать на 5% больше (иначе изображение, транслируемое вторым зеркалом, окажется более тусклым, в результате чего результирующая яркость картинки будет меняться при движениях глазного яблока, сопровождаемых перемещением зрачка вдоль LOE).

Здесь показана только первая пара приемных зеркал; на практике их может быть сколько угодно. Сколько их достаточно для нужд практического очкостроительства -- трудно сказать.

Очки дополненной реальности это очень просто
На этом репортажном снимке с CES (сделанном на стенде Lumus) видно, что зеркал, вроде бы, шесть.

В том, что касается зависимости прозрачности от угла падения луча, приемные зеркала устроены весьма атипично. Взгляните, как луч пересекает зеркало в точках А и Б, и убедитесь, что привычные законы оптики перевернуты вверх тормашками: если в первом случае часть энергии отражается, то во втором луч минует зеркало беспрепятственно! Исследование экзотических материалов и микро-/наноструктур (некоторые из них работают только с особым образом поляризованным светом), сообщающих зеркалам это экзотическое свойство -- ключ к совершенствованию LOE описываемого типа.

Изображенные на рисунке исходящие лучи строго взаимопараллельны и подобны в этом смысле лучам, пришедшим от какой-нибудь звезды. Расслабленный (сфокусированный на бесконечность) зрачок сводит их в некоторую точку на сетчатке. Эта точка соответствует некоторому пикселу источника, а что касается всего источника в целом, то он представится пользователю как бы спроецированным на небесный свод.

Расслабление управляющих хрусталиком мышц рекомендовано офтальмологами, призывающими периодически отвлекаться от работы и глядеть вдаль. Является ли это расслабление обязательным условием пользования устройствами отображения на основе LOE? Нет, и это, несмотря на медицинские рекомендации, следует приветствовать. Дело в том, что если фокусировка на бесконечность хорошо подходит для AR-атласа звездного неба, то большинству других приложений она противопоказана: противоестественность зрительных впечатлений, вызываемых созерцанием виртуальных объектов, кажущихся удаленными на бесконечное расстояние, но при этом оказывающихся наложенными на реальные объекты переднего плана, чревата болезненной дезориентацией аккомодационной системы.

К счастью, легкое выведение источника из фокальной плоскости коллимирующей линзы (дико усложняющее траекторию лучей внутри OLED, так что показывать ее на своих рисунках я не стану, однако, вы можете представить ее себе, если воспользуетесь вышеописанным приемом спрямления) нарушает взаимную параллельность исходящих лучей, заставляя аккомодационную систему фокусироваться на более близких расстояниях (однако, эти расстояния всегда существенно превосходят расстояние от глаза до LOE).

Такая фокусировка внушает носителю AR-очков иллюзорное представление о виртуальном экране, висящем перед его глазами, например, на расстоянии вытянутой руки. Или, скажем, метрах в 5, -- как в солидном домашнем кинотеатре.

Расстояние до виртуального экрана – важный параметр, и будущие модели LOE-AR-очков, вероятно, предоставят пользователям возможность сообразовывать его со своими предпочтениями и/или менять динамически, -- в зависимости от текущей дальности плана фильмовой или видеоигровой сцены (не исключено т.ж., что обострение конкурентной борьбы меж производителями AR-очков породит системы управлением ориентацией экрана: дорожная разметка, проецируемая на виртуальный прямоугольник, расстояние до нижней стороны которого составляет ~3м, а до верхней – бесконечность, хорошо вписывается в стереоскопические системы навигации). Однако в моделях, представленных на CES, этот параметр фиксирован и составляет 3 м.

Теперь, когда мы поняли, как работают LOE и уяснили себе их преимущества, пора обсудить то, о чем маркетологи нам никогда не скажут, -- а именно, их недостатки.

Имхо наисущественнейший недостаток (хотя он и может показаться на первый взгляд незначительным) состоит в неспособности LOE-AR-очков изображать темные объекты на светлом фоне. Объекты они могут изображать только светлые. Если каждая буква субтитров на DVD-дисках обведена темной каймой, обеспечивающей читаемость текста, накладываемого на светлые участки изображения, то при "субтитровании" реальности, наблюдаемой сквозь LOE, преимущества темного окаймления оказываются недостижимыми. Поэтому фон приходится затенять весь целиком и комплектовать очки затемняющими стеклами, которые придется вставлять в оправу при выходе солнца из-за туч. Возможно, практика предпишет использование нескольких стекол с разными плотностями, которые придется менять по мере изменения условий освещенности (например, при въезде в тоннель по скоростному шоссе). Альтернатива мороке со сменными стеклами -- адаптивный фильтр с ЖК-затвором, меняющий плотность методом широтно-импульсной модуляции (будьте готовы к наводкам при пользовании им в помещениях, где установлены лампы дневного света и мониторы-телевизоры).

Очки дополненной реальности это очень просто
Очки дополненной реальности это очень просто
Картинки, пущенные маркетологами Lumus в плаванье по околотехническим новостным сайтам, суть пример недобросовестной рекламы: LOE-AR-очки неспособны отобразить темные плашки, на которых красуются надписи "GPS Go Ahead" и "1 msg on screen". И очень многие другие живописованные здесь красивости они тоже отобразить неспособны.

Очки дополненной реальности это очень просто
А вот эта классическая картина маслом гораздо ближе к реальности!:)

Другой недостаток -- двоение (примерно как в аналоговых ТВ с плохо настроенными антеннами), а т.ж. цветовая дисперсия и прочие искажения, которыми чревата многократность отражений в тракте, характеристики элементов которого невозможно сделать идеальными. Не удивлюсь, если именно двоение окажется типичным артефактом формируемых LOE изображений: не верится мне, что в пресловутой точке Б достижимо безукоризненное отсутствие паразитного отражения, -- хотя, может быть, проблема не в зеркале, а в моем пессимизме.

Мыслима ли такая вещь как LOE-макродисплеи (т.е. LOE, превосходящие размером очёчные стекла и пригодные для применения в смартфонах, планшетах и телевизорах)? Да! По крайней мере, в патентах они упоминаются. Их преимущество -- беспрецедентная тонкость. Если кому тонкость современных OLED-TV кажется недостаточной, то пусть он запасется терпением на пару десятков лет и дождется появления на прилавках магазинов LOE-телевизоров, не нуждающихся ни в задней подсветке, ни в управляющих электродах. Примите к сведению, что источник изображения и коллиматор не обязательно должны размещаться в стороне от дисплея (как показано на вышеприведенных рисунках). Вполне представима конструкция, вводящая лучи в LOE с торца и не превосходящая LOE толщиной. Самой глубокой частью телевизора с таким экраном станет шнур питания, а AR-очки с такими стеклами смогут обходиться без оглобель, и т.о. превратятся в AR-пенсне, а то и в AR-контактные линзы (Augmented Reality Contact Lenses or ARCL, — не путать с Archives Recherches Cultures Lesbiennes и да послужит распространение этой только что изобретенной мною аббревиатуры в мировых блогосферах повышению гугловских рейтингов КО).

Подобно LOE-микродисплям, LOE-макродисплеи могут быть полупрозрачными. Для телевизоров это свойство бесполезно (хотя... я предпочел бы, чтобы консьержки в наших подъездах смотрели сериалы не на обычном, а на полупрозрачном телевизору), а вот в автомобильных гаджетах и при оформлении витрин может пригодиться (отметим, что если полупрозрачные LOE-телевизоры -- покамест умозрительная абстракция, то полупрозрачные OLED-телевизоры -- реальность, данная нам в ощущениях на последних IFA и CES фирмой Haier).

Вообще-то мне доводилось видеть точные копии LOE-ТВ в каком-то недавнем НФ-фильме, вот только забыл в каком; прошу читателей мне напомнить (ясно помню, что рамки у них были проволочные со скругленными краями, а установлены они были, кажется, посреди какого-то антиутопического пейзажа вроде гигантского блошиного рынка, и красные тона в кадре преобладали).

Еще одно уже вполне очевидное нам преимущество LOE-макродисплеев оценят дальнозоркие пользователи оснащенных ими планшетов и мониторов, получающие беспрецедентную возможность насладиться работой с ними без очков (правда, от них потребуется владение методом слепой печати: пальцы-то останутся нерезкими!)

Что же до недостатков LOE-макродисплеев, то не приходится удивляться, что наисущественнейшим из них является ограниченность угла обзора. По-видимому, установленные современными LCD-ТВ стандарты для LOE-ТВ принципиально недостижимы.

Впрочем, узость обзора из недостатка можно превратить в преимущество, -- точнее, в два: во-первых, ею можно соблазнить пользователей, заинтересованных в приватности: sms-ка, пришедшая обладателю смартфона с LOE-экраном, остается невидимой для соседей по креслу (хотя, я бы сказал, что этот рыночный сегмент очень узок, и спрос на нем полностью удовлетворяется пленками вроде этой), а во вторых, применение нескольких пристыкованных по горизонтали источников вместо одного-единственного может, теоретически, превратить обычный LOE-макродисплей в автостереоскопический. Подчеркну, что в восприятии пользователей он не будет концептуально отличаться от традиционных лентикулярных или параллакскно-барьерных. Подобно им, он не решает проблему конвергентно-аккомодационного диссонаоса и потому ни в коем случае не заслуживает права называться голографическим.

Другой недостаток LOE-макродисплеев -- их высокая чувствительность к деформациям. Малейший перекос – и я не знаю, что станет с траекториями многократно переотражающихся лучей.

Очки дополненной реальности это очень просто

Кстати, о контактных линзах: ARCL на основе LOE обладают явными преимуществами перед с изображенной выше неуклюжей и принципиально неспособной обеспечить достойное разрешение конструкцией на основе линз Френеля, разрабатываемой в Вашингтонском Университете. К тому же, введение зеркал в конструкцию ARCL я почитаю необходимой данью уважения провидческой гениальности Г.Х. Андерсена: помните Кая, которому в глаз попал осколок зеркала? В результате он стал смотреть на мир оценивающим взглядом через Google Goggles и очерствел душой.

Символы на вышеприведенной картинке-триптихе (активно муссировавшейся в прошлом году на новостных сайтах в связи с успешным тестированием на кроликах однопиксельного прототипа) означают следующее:
a) устройство в сборке, состоящее из матрицы со светодиодными пикселами (1), управляющей электроникой и антенной для получения энергии, передающейся на линзу дистанционно (3), а т.ж. плоским кабелем (4). Все эти компоненты смонтированы на основе из прозрачного эластичного пластика (5);
b) 10-декапиксельная матрица крупным планом;
c) крупный план активированного пикселя (каждый пиксель, как видите, оснащен собственной крохотной и не внушающей веры собирающей линзой Френеля).

Здесь же поневоле придется упомянуть активно обсуждаемую (в связи со недавно обнародованной информацией о спонсорстве DARPA) разработку iOptik компании Innovega, обязывающую к ношению и обычных очков и контактных линз: к стеклам обычных очков прикреплен микродисплей, демонстрирующий изображение, поляризованное одним способом, а фоновое изображение поляризовано другим способом, а в бифокальную контактную линзу внедрены два поляризационных фильтра. Не знаю как вам, для меня это чересчур. Я такое носить отказываюсь (впрочем, не случайно разрабатываются они для армии: там интересоваться мнениями пользователей не принято).

В завершение отмечу, что энтузиазм, с которым я бросился разбирать недостатки LOE, связан не столько с серьезностью этих недостатков,  сколько с оскорблением, нанесенным моему чувству справедливости лицемерными маркетологами, и что они, LOE, по-видимому, обладают большим потенциалом для совершенствования. Напр., в них для каких-нибудь полезных целей можно внедрить активные элементы. Почти наверняка уже разработаны и запатентованы а т.ж. разрабатываются и будут патентоваться активные LOE на основе MEMS и/или иных технологий, позволяющих выборочно управлять оптическими свойствами и/или положением зеркал и/или иных компонент тракта. Вот пара идей навскидку: пусть виртуальный экран совершает быстрые возвратно-поступательные движения вдоль оси z, а изображение на нем пусть меняется в такт этим движениям, формируя на сетчатке AR-очкарика объемный образ. Такой LOE-дисплей можно будет назвать если не голографическим, то псевдо- или недоголографическим. Или пусть приемные зеркала в LOE второго типа будут непрозрачными, но подвижными, — как в зеркальном фотоаппарате. Откидываясь в рабочее положение по одному, они будут формировать CRT-подобное изображение, (поскольку в AR-очках зеркала ориентированы вертикально, состоять оно будет не из сканирующих строк, а из пульсирующих столбцов). Недостаточность скорости этого процесса вызовет мерцание изображения, но зато оно полностью освободится от двоения. Вообщем, простор для изобретательских и рационализаторских прорывов в области LOE-строения представляется очень широким, так что там о них предстоит услышать еще не раз.