Дисплей двойного действия

Не исполнилось и двух месяцев рассуждениям коллеги о подходящей аппаратной базе для создания цифрового терменвокса, как разработчики из MIT Media Lab представили гибрид ЖК-панели с ЦФК и 3D-сканером под названием BiDi-дисплей. Кажется, оно неплохо годится для этой цели.

Ну и для некоторых других целей, конечно:

Во-первых (и в-главных) на базе BiDi-дисплея можно строить инновационные мультититач-интерфейсы, ориентированные на жесты, как сопровождаемые физическим контактом с поверхностью дисплея, так и не сопровождаемые таковым. Благодаря этой универсальности (отсутствующей у аналогов MS Surface) пользователь может получить интерфейс, объединяющий лучшие черты контактных и бесконтактных сенсорных систем, ориентированных на жесты.

Во-вторых, BiDi-дисплей может заменить веб-камеру. Точнее сказать, в нынешнем исполнении конкурировать с веб-камерами он не может из-за недостаточности разрешения; однако, для улучшения этого параметра, по словам разработчиков, нет принципиальных препятствий. Такая камера обнаружит неожиданное преимущество, от которого нам, вероятно, будет трудно отказаться. А именно: в ходе сеанса видеосвязи собеседники смогут смотреть друг другу прямо в глаза, а не поверх голов, как это обычно происходит. Кроме того, разработчики предвкушают появление первого в мире "истинного цифрового зеркала", с помощью которого, согласно забавному политкорректному обороту из официального пресс-релиза "пользовательница получит возможность заглянуть в глаза самой себе".

В-третьих, BiDi-дисплей может играть роль 3D-сканера. С точки зрения пользователя процедура 3D-сканирования сводится к вращению объекта на установленном вблизи монитора поворотном столике.

Собственно говоря, роль 2D-сканера он тоже сможет играть (и т.д., и т.п.).

BiDi -- сокращение от "bi-directional". Двунаправленность BiDi-дисплея проявляется в его способности не только воспроизводить изображения, но и регистрировать их. Это ставит ЖК-дисплеи в один ряд с кинопроекторами, граммофонами и множеством других воспроизводящих устройств, которые после некоторой переделки могут быть превращены в устройства записывающие (сделать какой-нибудь вывод из этого обобщения я не смог и буду рад, если это удастся читателям:).

Большую часть времени BiDi-дисплей работает как обыкновенный, но несколько десятков раз в секунду на неуловимый глазом времени он переводится в режим сканирования. При этом происходит следующее:
1. Задняя подсветка отключается;
2. ЖК-ячейки используются для формирования фильтрующей муаровой решетки, составленной из элементов размером 19х19 пикселей. Эти элементы имеют такой вид:

3. Свет, просачивающийся через фильтр внутрь дисплейного корпуса, образует на фоточувствительной подложке сложную интерференционную картину;
4. С помощью хитроумного ПО эта картина декодируется в так называемое световое поле. Не вдаваясь в детали, мы можем думать о световом поле как о 3D-массиве, каждый элемент которого описывает сведения об интенсивности и направлении световых потоков, проходящих через соответствующий воксель;
5. По световому полю можно восстановить 3D-модель существующих в нем объектов (к примеру, рук пользователя);
6. Задняя подсветка включается.

Если все это звучит слишком потусторонне, попробуйте представить фильтрующую решетку, составленную из таких элементов (опять-таки, размером 19х19):

Такая фильтрующая решетка превращает дисплей стандартного разрешения (~1680x1050) в несколько тысяч камер обскура, дающих изображения жестикулирующих рук в нескольких тысячах ракурсов. Эти данные могут использоваться для 3D-реконструкции (увы, почти не пропускающие света камеры обскура хороши разве что для наглядности мысленных экспериментов).

Одним из важных направлений совершенствования BiDi-дисплеев является разработка методов синтеза фильтрующих решеток, адаптирующихся к специфике сканируемых сцен.

О вычислительной сложности пунктов 4-5 можно судить по тому, что в ходе работы текущего прототипа BiDi-дисплея они поглощают ресурсы 8-ядерного Xeon'а. А ведь этот прототип не блещет ни быстродействием (7.5 рабочих циклов в секунду), ни точностью восстановления светового поля (угловое разрешение -- 19х19; пространственное -- 80х100).

Впрочем, по словам авторов, вычислительная сложность не может омрачить перспектив BiDi-концепции, ибо задействованные в ней алгоритмы прекрасно распараллеливаются.

Первая публичная демонстрация 20-дюймового BiDi-дисплея ожидается завтра в Йокогаме в рамках азиатской части Siggraph. Габаритами он будет напоминать телевизор с задней проекцией: внушительная глубина потребовалась чтобы вместить в корпус проекционный экран и камкордер, в совокупности исполняющие роль 20-дюймовой фоточувствительной матрицы (к досаде исследователей, матрицы таких размеров покамест не производятся).

Существует положительная корреляция между зазором, отделяющим фоточувствительную матрицу от ЖК-ячеек с одной стороны, и глубиной сканируемого пространства -- с другой. Зазор, необходимый для определения положения рук пользователя на расстояниях до 50 см. от поверхности дисплея, составляет около 2.5 см., так что при налаживании массового производства BiDi- и обычные ЖК-дисплеи окажутся в смысле "стройности" сопоставимы.

Любопытно, что по мнению разработчиков одними из первых заказчиков BiDi-панелей станут производители мобильных телефонов. Что тут сказать... Благодаря распространившимся в последнюю декаду миниатюрным гарнитурам мы совершенно перестали обращать внимание на беседующих с пустотой шизофреников. Теперь толерантность общества к психическим расстройствам может повыситься на очередную стадию: мы, того и гляди, перестанем реагировать на одиноких незнакомцев, сопровождающих свои речи жестикуляцией:)