`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Павел Молодчик

Дисплей двойного действия

+35
голосов

Не исполнилось и двух месяцев рассуждениям коллеги о подходящей аппаратной базе для создания цифрового терменвокса, как разработчики из MIT Media Lab представили гибрид ЖК-панели с ЦФК и 3D-сканером под названием BiDi-дисплей. Кажется, оно неплохо годится для этой цели.

Ну и для некоторых других целей, конечно:

Во-первых (и в-главных) на базе BiDi-дисплея можно строить инновационные мультититач-интерфейсы, ориентированные на жесты, как сопровождаемые физическим контактом с поверхностью дисплея, так и не сопровождаемые таковым. Благодаря этой универсальности (отсутствующей у аналогов MS Surface) пользователь может получить интерфейс, объединяющий лучшие черты контактных и бесконтактных сенсорных систем, ориентированных на жесты.

Во-вторых, BiDi-дисплей может заменить веб-камеру. Точнее сказать, в нынешнем исполнении конкурировать с веб-камерами он не может из-за недостаточности разрешения; однако, для улучшения этого параметра, по словам разработчиков, нет принципиальных препятствий. Такая камера обнаружит неожиданное преимущество, от которого нам, вероятно, будет трудно отказаться. А именно: в ходе сеанса видеосвязи собеседники смогут смотреть друг другу прямо в глаза, а не поверх голов, как это обычно происходит. Кроме того, разработчики предвкушают появление первого в мире "истинного цифрового зеркала", с помощью которого, согласно забавному политкорректному обороту из официального пресс-релиза "пользовательница получит возможность заглянуть в глаза самой себе".

В-третьих, BiDi-дисплей может играть роль 3D-сканера. С точки зрения пользователя процедура 3D-сканирования сводится к вращению объекта на установленном вблизи монитора поворотном столике.

Собственно говоря, роль 2D-сканера он тоже сможет играть (и т.д., и т.п.).

BiDi -- сокращение от "bi-directional". Двунаправленность BiDi-дисплея проявляется в его способности не только воспроизводить изображения, но и регистрировать их. Это ставит ЖК-дисплеи в один ряд с кинопроекторами, граммофонами и множеством других воспроизводящих устройств, которые после некоторой переделки могут быть превращены в устройства записывающие (сделать какой-нибудь вывод из этого обобщения я не смог и буду рад, если это удастся читателям:).

Большую часть времени BiDi-дисплей работает как обыкновенный, но несколько десятков раз в секунду на неуловимый глазом времени он переводится в режим сканирования. При этом происходит следующее:
1. Задняя подсветка отключается;
2. ЖК-ячейки используются для формирования фильтрующей муаровой решетки, составленной из элементов размером 19х19 пикселей. Эти элементы имеют такой вид:

Дисплей двойного действия

3. Свет, просачивающийся через фильтр внутрь дисплейного корпуса, образует на фоточувствительной подложке сложную интерференционную картину;
4. С помощью хитроумного ПО эта картина декодируется в так называемое световое поле. Не вдаваясь в детали, мы можем думать о световом поле как о 3D-массиве, каждый элемент которого описывает сведения об интенсивности и направлении световых потоков, проходящих через соответствующий воксель;
5. По световому полю можно восстановить 3D-модель существующих в нем объектов (к примеру, рук пользователя);
6. Задняя подсветка включается.

Если все это звучит слишком потусторонне, попробуйте представить фильтрующую решетку, составленную из таких элементов (опять-таки, размером 19х19):

 

Дисплей двойного действия

Такая фильтрующая решетка превращает дисплей стандартного разрешения (~1680x1050) в несколько тысяч камер обскура, дающих изображения жестикулирующих рук в нескольких тысячах ракурсов. Эти данные могут использоваться для 3D-реконструкции (увы, почти не пропускающие света камеры обскура хороши разве что для наглядности мысленных экспериментов).

Одним из важных направлений совершенствования BiDi-дисплеев является разработка методов синтеза фильтрующих решеток, адаптирующихся к специфике сканируемых сцен.

О вычислительной сложности пунктов 4-5 можно судить по тому, что в ходе работы текущего прототипа BiDi-дисплея они поглощают ресурсы 8-ядерного Xeon'а. А ведь этот прототип не блещет ни быстродействием (7.5 рабочих циклов в секунду), ни точностью восстановления светового поля (угловое разрешение -- 19х19; пространственное -- 80х100).

Впрочем, по словам авторов, вычислительная сложность не может омрачить перспектив BiDi-концепции, ибо задействованные в ней алгоритмы прекрасно распараллеливаются.

Первая публичная демонстрация 20-дюймового BiDi-дисплея ожидается завтра в Йокогаме в рамках азиатской части Siggraph. Габаритами он будет напоминать телевизор с задней проекцией: внушительная глубина потребовалась чтобы вместить в корпус проекционный экран и камкордер, в совокупности исполняющие роль 20-дюймовой фоточувствительной матрицы (к досаде исследователей, матрицы таких размеров покамест не производятся).

Существует положительная корреляция между зазором, отделяющим фоточувствительную матрицу от ЖК-ячеек с одной стороны, и глубиной сканируемого пространства -- с другой. Зазор, необходимый для определения положения рук пользователя на расстояниях до 50 см. от поверхности дисплея, составляет около 2.5 см., так что при налаживании массового производства BiDi- и обычные ЖК-дисплеи окажутся в смысле "стройности" сопоставимы.

Любопытно, что по мнению разработчиков одними из первых заказчиков BiDi-панелей станут производители мобильных телефонов. Что тут сказать... Благодаря распространившимся в последнюю декаду миниатюрным гарнитурам мы совершенно перестали обращать внимание на беседующих с пустотой шизофреников. Теперь толерантность общества к психическим расстройствам может повыситься на очередную стадию: мы, того и гляди, перестанем реагировать на одиноких незнакомцев, сопровождающих свои речи жестикуляцией:)

+35
голосов

Напечатать Отправить другу

Читайте также

Ну, наконец-то!

Что-то они, Павел, не договаривают (либо я недопонял). ;) Ведь для решения 3D-задачи нужно либо знание о фазе приходящей волны на каждом из элементов (делать каждый сенсор интерферометром???), либо потребуется освещать предмет (руку) перед решеткой когерентным источником (тогда, насколько применима идея в быту???). К сожалению -- это принципиальное (теоретическое) ограничение, которое никаким количеством Xeon-ов не побороть.
Еще один нюанс, который Вы абсолютно справедливо подметили -- сильное ослабление интенсивности отраженного от предмета светового потока при его прохождении через маску. То есть чувствительность их сенсоров должна быть более чем на 2 порядка выше (при том же уровне шумов и динамическом диапазоне), чем у типовых современных. Маленькая криогенная установка им в помощь! (либо прожектор в комплект с такой ВЕБ-камерой в фейс работающего) :)

Если бы пикселы фоточувствительной матрицы использовались как элементы фазированной антенной решетки, то действительно, для восстановления светового поля было бы необходимо регистрировать фазу. Почему BiDi-технология работает без этого? За счет использования муарового фильтра!

Ясно, что набор картин N, получаемый с помощью 2D-массива камер обскура, отражет только только амплитуду.

Хотя картина, формируемая светом, пропущенным через более светопроницаемые элементы муаровой текстуры (см. верхнюю картинку), при разглядывании невооруженным глазом выглядит хаотично, она может быть преобразована в аналогичный N набор картин посредством алгоритма, описанного в позапрошлом году неким Veeraraghavan'ом сотоварищи (подробности см. в pdf-брошюре на страничке разработчиков).

Восстановление светового поля по массиву разноракурсных изображений - интенсивно исследуемая тема, которой посвящено множество статей (подробности см. там же).

Заключительный этап 3D-реконструирования связан с известной в микроскопии технологией "depth from focus": сцена множество раз "фотографируется виртуальной камерой", сфокусированной на различных расстояниях. Z-координаты, приписываемые каждому пикселу, соответствуют тем изображениям, на которых пиксел оказывается "в фокусе" (т.е. на которых окрестности этого пиксела выглядят наиболее контрастно).

Относительно проблемы низкой проницаемости ЖК-панелей вы отчасти правы: авторы действительно указывают необходимость освещения пользователя в качестве ограничения технологии (правда, можно освещать руки пользователя источниками инфракрасного света, который не будет ему мешать). Но обсуждение предположения о существовании проблемы высокого уровня шумов (которое вы, очевидно, выводите из аналогий с ЦФК), я полагаю, лежит далеко за рамками нашей компетенции. Замечу только, что если вообще такие аналогии уместны применительно к BiDi, то некоторые из них работают против вашего предположения. Ведь считается, что большие матрицы шумят меньше маленьких, а матрицы BiDi - просто гигантские. Считается, что матрицы низкого разрешения шумят меньше, чем низкого, а разрешение матрицы BiDi относительно низко (~1-2 Мп). Светопроницаемость ЖК-панели, индицирующей монохромный муаровый фильтр с 50% черных пикселей - ~5%, что сопоставимо со светопроницаемостью объективов дешевых "мыльниц" (а для MEMS-панелей этот параметр может быть в несколько раз выше).

Спасибо за детальные разъяснения. С амплитудой и фазой почти все понятно -- меня ввело в заблуждение предположение о голографической подоплеке идеи (как в ФАР или ЦАР). На самом деле оказалось, что это разновидность идеи "деблюризации" (интересные иллюстрации данного принципа есть также на http://www1.cs.columbia.edu/CAVE/projects/aperture_defocus).
Относительно шумов-динамического диапазона-чувствительности (именно как системы параметров сенсора), логика моего предположения базировалась на несколько других размышлениях. По сценарию работы устройства, темп "видения" предположительно вряд ли будет меньше, чем 60-120 раз в секунду. Технические моменты сократят фактическое время захвата образа еще в 2 раза. Рассеянная компонента света будет десятки раз выше. А вот динамический диапазон потребуется в сравнении с традиционными матрицами наоборот, расширить. Относительно разрешения матрицы – также не совсем уверен, что оно будет достаточным на уровне 1-2 Мп при размере от 19-21".
Еще раз спасибо за интересный рассказ и комментарий.

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT