О миниатюризации шлемов виртуальной реальности

Шлемы виртуальной реальности сегодня изящны как никогда (на фото -- Sony HMZ-T3Q, Oculus Rift и Cinemizer). Однако, в сравнении с Moverio BT200 (это -- второе поколение очков дополненной реальности от Epson) и Google Glass они выглядят, как видите, архаично.

Очевидное различие в габаритах обусловлено различиями в устройстве их оптических трактов, базирующихся, соответственно, на использовании плоских световодных элементов и увеличительных линз (подробности здесь).

Увеличивающие линзы дают лучшее и большее (т.е., занимающее больше места в поле зрения) изображение, но делают конструкцию громоздкой (недопустимо, по нынешним гаджетирским меркам, громоздкой).

Все это повышает востребованность технологий, позволяющих втиснуть шлем виртуальной реальности в "очечный" форм-фактор. И, как всегда, рынок говорит "надо", -- разработчики отвечают "есть". Рассмотрим достойную описания пару из множества предложенных ими решений.

1. Виртуальный сетчаточный дисплей ("Virtial Retinal Display") Glyph стартапа Avegant -- продукт конверсии американских военных технологий (неудивительно, что первыми пользователями почти всякого вновь разработанного качественного и компактного окуляра оказываются наводчики пулемета "вулкан" или чего-нибудь в этом духе: если жизнь от смерти может быть отделена долей секунды и процентом кучности, компромиссы неприемлемы).
Работает он так:

Свет, испускаемый маломощным светодиодом, отражается от DLP-чипа, функционирующего в обычном своем режиме (микроскопические зеркальца, чье положение отвечает черным и белым пикселям, отклоняют свет или, соответственно, направляют его в оптический тракт). Разрешение чипа -- 1280х800 пикселей (действительное разрешение демонстрируемого изображения -- 1280x720). Проходя через патентованную оптическую систему (и зрачок), лучи попадают на сетчатку. Вероятно, светодиодов три или больше (быстрое чередование их вспышек позволяет облучать сетчатку разноцветными изображениями, суперпозиция которых благодаря инерционности фоторецепторов формирует иллюзию восприятия цветного изображения). Отражающихся от зеркал траектории световых потоков упрощены для наглядности: каждый из них трансформируется оптической системой в сантиметровой ширины усеченный конус, позволяющий зрителю рассматривать не только центр, но и периферийные части изображения (т.е., вращать глазами, меняя положение зрачка в пределах примерно сантиметровой области).

Обратите внимание: не успели улечься сетевые дебаты о преимущественной естественности изображений, формируемых посредством "отсвечивания" и "просвечивания", как технический прогресс подкидывает общественности новую заковыристую тему: изображения, проецируемые непосредственно на сетчатку. Естественны они или противоестественны?

Согласно заверениям разработчиков, Glyph внушает пользователю иллюзию пребывания в 8 футах (2,43 м.) от телевизора с диагональю 80" (2м.), что соответствует 45-градусному горизонтальному углу обзора.

Отметим, что для глубокого погружения в игровую виртуальную реальность последний показатель является ключевым. Пусть у изображения низкое разрешение и плохая цветопередача, -- в глазах игромана широкий угол обзора искупает все недостатки. Очки и шлемы виртуальной реальности с малым углом обзора годятся разве что для танковых симуляторов, предлагающих игрокам созерцать поле боя через узкую бойницу.

В том, что касается угла обзора очки Glyph глядят середнячком, выступая на равных с Sony HMZ-T3Q, в полтора раза превосходя Cimemizer, но вдвое уступая шлему Oculus Rift (или, скажем кинотеатру IMAX).

В этом смысле немного странно выглядят фантазии маркетологов Avegant, дерзающих предрекать появление особых фильмов, в ходе просмотра которых пользователи Glyph смогут перемещаться в заэкранном пространстве, наблюдая действие с произвольного ракурса. Oculus Rift для реализации такого проекта подходит гораздо лучше. Да и вообще, сама эта идея выглядит броско лишь на первый взгляд. Кто всерьез может предположить, что неискушенному зрителю под силу тягаться с монтажерами и операторами, получившими специальное образование и постигшими премудрости художественной постановки света, драматичного кадрирования и особо споспешествующего катарсису ритма переключения меж средними, общими и крупными планами? Достанет ли зрителю, созерцающему раскрашенную и "интерактивизированную" версию "Семнадцати мгновений весны", смекалки при волшебных таривердиевских аккордах приблизиться вплотную к лицу Штирлица, чтобы всмотреться в его печальные глаза?

Скорее наоборот, можно предположить, что пользователи очков улучшенной реальности, прогуливающиеся по музеям и др. достопримечательностям, когда-нибудь станут прибегать к сервисам, автоматически заменяющим вид от первого лица на последовательность видов, транслируемых с камер, распложенных в наивыгоднейших ракурсах, и т.о. позволяющих интенсивнее проникаться настроением и атмосферой местности. За пять минут напитываться впечатлениями, на восприятие которых невооруженным глазом местные обитатели тратят жизнь.

Прошу простить за немотивированное отклонение от темы. Итак, пусть угол охвата Glyph оставляет желать лучшего; зато очевидцы не могут нарадоваться на высокое качество изображения. В технических блогах несколько раз попадалось заявление о том, что реализованное в Glyph WXGA-разрешение обладает качеством, "наводящим на мысли о Full HD".

Способность Glyph трансформироваться из очков в наушники, тоже на мой взгляд, заслуживает похвалы: унижающая человеческое достоинство возня с футлярами (которой не миновать пользователям Google Glass и т.п.), заменяется на импозантный жест рыцаря, поднимающего забрало (вот только обладателям жирных и ломких волос, вероятно, придется постоянно возиться с салфетками для протирания окуляров, которые в режиме наушников входят в контакт с шевелюрой).

Финансирование проекта Avegant на KickStarter близится к триумфу (организаторы подсчитали, что для развертывания массового производства им нужно $250k, но уже сегодня, -- за 62 часа до финала, -- ими получено более $1.3m от ~3 тысяч плательщиков), так что в скором времени очки/наушники можно ожидать в продаже по цене ~$500.

2. Пленоптические очки NVIDIA. Понять, как они работают, может всякий, кто имел дело с перфорационными очками.

Каждая дырочка в них может быть уподоблена "объективу" камеры-обскура, не так ли?
Из каждой дырочки в зрачок носителя очков поступает из окружающего пространства множество лучей, которые по преломлении в хрусталике преобразуются во множество точек на сетчатке.
Суперпозиция лучей, проходящих через все дырочки, формирует на сетчатке полную картину.
Теперь представьте, что окружающее пространство подменено множеством OLED-дисплеев (по одному на каждую дырочку), демонстрирующих картинки, составленные таким образом, что исходящие из дырочек лучи остаются прежними. В результате впечатления зрителя не меняются, и очкарик, неспособный заметить подмену реального пространства виртуальным, попадает в матрицу.
Проведем в рамках нашего мысленного эксперимента еще одну модификацию: представьте, что дырочки заменены на микролинзы (намного более высокая светосила которых обусловила в свое время вытеснение камер-обскура традиционными фотоаппаратами).
Вуаля, -- перед вами пленоптические очки NVIDIA, два опытных экземпляра которых были продемонстрированы участникам Siggraph'2013.

Каждый окуляр показанных на фотографии слева очков представляет собой "бутердрод" из WXGA-OLED-дисплея и фильтра, состоящего из 112 микролинз (собранных в матрицу 14х8). На каждую линзу приходится горстка пикселей, которая заполняется изображением, представляющим собой вид 3D-сцены с определенного ракурса, просчитываемый в реальном времени с посмощью особым образом модифицированного трассировщика лучей NVIDIA OptiX (задействующего рексурсы графического ускорителя). В продемонстрированной реализации толщзина бутерброда составляет 1 см., но при необходимости его можно сделать много тоньше.

Пространственное разрешение формируемой таким образом картинки смехотворно мало: 146х78. Более качественную, пленоптическую картинку (с разрешением 534х534) демонстрировали очки с 35х35 микролинзами, выставлявшиеся по соседству. В них OLED-дисплей был заменен на диапозитив размером 3.75х3.75 см, несущей изображение разрешением 4500х4500 пикселей (что составляет недостижимую для современных дисплейных технологий плотность в 120 пикселей на миллиметр).

Замечательно, что порождаемое пленоптическим окуляром световое поле заставляет хрусталик пользователя корректно фокусироваться на близких и дальних объектах, что снимает проблему конвергентно-аккомодационного диссонанса. Замечательно также и то, что, в отличие от Glyph, пленоптические очки могут легко обеспечить какой угодно угол обзора (он определяется лишь размерами окуляров, и в фотопленочной версии составил впечатляющие 67^о).

С другой стороны, коммерциализация данной разработки -- дело далекого будущего. Главной предпосылкой успешности этого дела является уплотнение пикселей в микродисплеях как минимум на два порядка.

В заключение отмечу терминологический казус, с которым пришлось столкнуться при подготовке этого поста:
- Augmented Reality Glasses ("очки дополненной реальности")
- Virtual Reality Hemets/Headsets ("шлемы виртуальной реальности")
- Head Mounted Displays (...опять-таки "шлемы виртуальной реальности")
Упоминаемые мною устройства разделяются на три класса, адресованные различным ЦА и предназначенные для различных способов использования.
Хотя границы между этими классами размыты (напр., оснащенные гироскопами версии Cinemizer годятся для видеоигр, но все-таки основное их предназначение -- просмотр фильмов), и хотя технический прогресс, по-видимому, будет размывать их все больше, путать их, все же, не следует (и тем более не следует сравнивать представителей разных классов путем сопоставления технических характеристик). В этом смысле омонимичность VRH и HMD в русскоязычных публикациях представляет проблему. Предлагаю затеять мозговой штурм и подыскать для HMD какой-нибудь альтернативный термин.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365