Дума о Google Tango

6 март, 2014 - 21:57Павел Молодчик

В рамках данного поста под 3D-камерами будут пониматься не двухобъективные стереокамеры (интерес к которым последнее время стал холодеть несмотря на усилия маркетологов), а компактные и быстродействующие 3D-сканеры, извлекающие относительно более точную информацию о геометрии 3D-сцены. Существенно более точную и достаточно точную для эффективного использования в жестикуляционных интерфейсах, робототехнических системах машинного зрения, а также во множестве других приложений, разнообразие коих в настоящее время труднопредставимо. Миниатюризация 3D-камер открывает сегодня для гаджетирства новую и весьма пространную terra incognita.

Заметную активность в данной области проявляют Microsoft, Intel и Apple.

Недавно к ним примкнула, Google анонсировавшая проект Tango, нацеленный на разработку привлекательного для массового рынка смартфона со встроенной 3D-камерой.
Дума о Google Tango


Таким образом, теперь никто из титанов хайтека не стоит в стороне от новомодной тенденции (а обостряющийся накал соперничества может вскоре поместить ее в фокус всеобщего внимания и долго ее там удерживать).

Но проект Tango значим отнюдь не только этим обстоятельством. В нем задействованы новые ("с нуля" спроектированные) терафлопные сопроцессоры Myriad 1 от Movidius. Потребляя в сравнении с чипом PrimeSense (используемым в Kinect) примерно на порядок меньше мощности, Myriad 1 обрабатывает данные, поступающие не только от инфракрасной камеры, но и от акселерометров (сходным образом зрительный отдел мозга принимает во внимание показания вестибулярного аппарата, когда человек, рассматривающий сложную пространственную форму, инстинктивно совершает головой рыскающие движения), а также от дополнительной расположенной на тыльной стороне корпуса камеры, при невысоком разрешении (VGA) обладающей высоким быстродействием (100 fps). Последняя ("Motion Tracking Camera" согласно маркетинговым материалам Google), видимо, нужна для уточнения текущего положения смартфона в пространстве (здесь можно провести параллели с чудовищно быстродействующим "глазом" современной оптической мышки).

Если в рамках проекта Photosynth процесс преобразования множества 2D-снимков в виртуальную 3D-сцену из-за своей вычислительной затратности выполняется задним числом (так что исправление огрехов оказывается хлопотным или вовсе невозможным делом), то пара сопроцессоров Myriad 1 на борту "тангофона" превращает построение 3D-моделей в интерактивный процесс. О том, что он собой представляет, можно составить примерное мнение по этому ролику.

Еще одна скрытая в этом ролике мораль такова: если у вас есть доступ к 3D-принтеру, то не иметь смартфона с 3D-камерой — это как-то странно. Вдруг вам на улице или в гостях что-то понравится, и вы захотите домой такое же?

Вероятно, ничто не препятствует встроить парочку Myriad 1 в Google Glass v.2, пользователи которых смогут скооперироваться и подвергнуть непринужденному 3D-сканированию целый город.

Однажды я предположил, что построение 3D-модели мира наш большой брат начнет с дорожных выбоин. Похоже, ошибся: глобальное сканирование начнется с наших квартир. Зачем? Ну, можно вложить модель в навигатор, делающий аудиоподсказки слепым. Или поиграть в прятки в чужой квартире, не покидая собственную. Или подобрать в IKEA мебель, вписывая ее в текущий интерьер с до того высокими реализмом и достоверностью, что вновь установленный реальный шкаф совершенно утратит в глазах покупателя обаяние новизны.

Теперь откроем причины, по которым выше мною было использовано словосочетание "инфракрасная камера".

Для этого уясним вкратце суть двух наиболее популярных технологий, в настоящее время состоящих на вооружении у производителей 3D-камер:

1. Программное обеспечение 3D-камер, реализующих метод структурированного освещения, считывает 3D-информацию с формы и взаимного расположения множества проецируемых на сцену "солнечных зайчиков". Хотя в этих камерах применены обычные фоточувствительные матрицы, они могут оснащаться инфракрасными светофильтрами (проецируя инфракрасные "зайчики", их можно скрыть от пользователя), а т.ж. особыми астигматическими объективами, трансформирующими светящиеся точки в эллипсы, чья форма зависит от расстояния до камеры, что может использоваться для повышения точности определения глубины сцены.

2. Сверхбыстродействующие светочувствительные матрицы т. наз. TOF-камер (от "Time Of Flight") позволяют попиксельно регистрировать время, затрачиваемое светом на преодоление расстояния от регулярно срабатывающей ИК-вспышки до сцены и обратно (для вычисления расстояния остается применить формулу zij = Tij*c/2). Этот способ точнее и надежнее, но он относительно энергоемок, и, по-видимому, несовместим покамест со смартфонными габаритами (хотя уже существуют довольно изящные TOF-веб-камеры).

Первое поколение камер Kinect принадлежит к первому классу, а новое — ко второму.

Хотя ключевые технические детали проекта Tango в настоящее время являются секретом фирмы, известно, что основной камерой "тангофона" служит 4-мегапиксельная модель OV4682 от Omnivision. Ее можно было бы назвать вполне традиционной, если бы не т. наз. RGBD-байеровский фильтр ("RGB+Depth"): один из традиционной пары зеленых светофильтров, входящих в его элементарную 4-пиксельную ячейку, заменен на ИК-фильтр. Из этого, если не ошибаюсь, можно заключить, что "тангофон" принадлежит к первому классу.

Кстати сказать, любопытно, каким образом скажется распространение матриц c RGBD-фильтрами на фотоэстетике.
Ведь благодаря им съемки в ИК-диапазоне, доселе бывшие уделом энтузиастов-маргиналов, станут достоянием масс, которые примутся щелкать ИК-снимки играючи: разработчикам сматрфонного ПО не составит труда ввести в набор органов управления камерой переключатель меж традиционным и ИК-режимами, а того лучше — ползунок, позволяющий менять степень вклада ИК-света на этапе съемки (при съемке в формате RAW такое микширование можно будет, разумеется, осуществлять задним числом).

Вспомним, что пресловутым энтузиастам приходилось снимать на экзотическую ИК-фотопленку или решать сложную и деструктивную (приводящую камеру к непоправимому дальтонизму) задачу извлечения фильтра Байера, либо навинчивать на объектив особый фильтр, блокирующий видимый свет и пропускающий только инфракрасный. Ввиду прямой противоположности действия оставляемого в оптическом тракте традиционного байеровского фильтра (который пропускает видимый свет и блокирует почти весь инфракрасный), второй подход катастрофически снижает светосилу и делает необходимыми продолжительные экспозиции с обязательным использованием штатива, сводящие доступный набор фотожанров к натюрмортам и пейзажам, и заставляющие с сожалением отказаться от ИК-портретов. Особенно женских.
Дума о Google Tango
Дума о Google Tango
Красота, не правда ли?
Чем же они "цепляют"?
На этот счет на фотофорумах бытуют два не очень-то согласующихся мнения.

1. Микроскопические кожные аномалии мало-де отличаются температурой, и потому на ИК-портретах маскируются, так что переход в ИК-диапазон преображает кожу наподобие макияжа. То есть, согласно этой теории, ИК-камера заменяет фотографу наемного визажиста. Выгодно!

2. Зритель-де интуитивно чувствует, что перед ним — нечто сродни теплограмме, позволяющей как на ладони видеть состояние периферийной кровеносной системы, исправность работы которой есть сертификат молодости и красоты такого уровня защиты, который не фальсифицируешь никакими пудрами и кремами. Поэтому зритель больше доверяет фотографии и испытывает к модели больше восторженных чувств.

Где правда? Рискну предположить, что первое мнение справедливо преимущественно в отношении портретов, снятых в ярком ИК-освещении, а второе — к съемкам в ИК-сумерках, дающих лику фотомодели без помех озариться внутренним ИК-сиянием.

Вообщем, грядущая демократизация 3D-камерафонов наверняка позволит пролить свет на эту и мн. др. животрепещущие загадки.