1 камера -- хорошо, а 25 -- лучше

Полтора года тому я предположил, что коммерциализация пленоптических камер начнется с выхода производителей графических акселераторов на рынок "мыльниц". Ошибка вышла: похоже, вместо мыльниц первыми в бой за массового потребителя выступают камерафоны, а вместо высокопроизводительных процессоров с высокопараллельной архитектурой они будут оснащены обычными CPU.

Впрочем, 25 камер по пленоптическим меркам это очень мало, так что в вычислениях, по объему сопоставимых с теми, что требуются для подобных демонстраций нет необходимости.

По техническим веб-изданиям кочует высказывание Марка Левоя (Marc Levoy), -- авторитетного специалиста по пленоптике из Стенфордского Университета: “Pelican’s technology has the potential to upset the traditional tradeoff between the sensitivity and resolution of a camera and its thickness. It also brings new capabilities to cameras, including post-capture focusing, foveal imaging and programmable frame rates.”

Т.е., "Технология Pelican теоретически способна сделать камеры с высоким разрешением и высокой светочувствительностью небывало тонкими. Кроме того, благодаря ей камеры могут обрести ряд новых свойств, в т.ч., способность делать снимки, фокусируемые задним числом, задействовать принципы фовеальной обработки изображений и параметризовать частоту кадров в видеорежиме".

Разберем эту цитату детальнее.

Очевидно, фотокамера Pelican светочувствительнее традиционной, ведь через ее 25 объективов проходит в 25 раз больше света.

С др. стороны, светочувствительность ЦФК находится в обратной зависимости от уровня шумов. Множественность фоточувствительных матриц -- залог эффективного шупоподавления: результат попиксельного усреднения 25 кадров менее шумен, чем каждый из исходных (помимо среднего арифметического известны и более интеллектуальные алгоритмы, учитывающие вклад усредняемых яркостей с учетом их достоверности, - примером здесь может служить популярная программа PhotoAcute)

Теперь о разрешении: самый прямолинейный способ его увеличения состоит в том, чтобы ориентировать 25 однообъективных камер под разными углами (под такими, под которыми они были бы ориентированы, будучи прикреплены к сегменту сферической поверхности на манер фасеток глаза насекомого). 25 получаемых с их помощью снимков легко объединить в один панорамный. Подобная техника увеличения разрешения изображения широко пропагандируется в Сети поклонниками системы GigaPan (которая куда менее практична многообъективной, ибо предполагает использование штатива с роботизированной головкой и примирение с неизбежными артефактами, вызванными неодновременностью получения сшиваемых снимков, - напр., облачное небо на панорамах GigaPan всегда получается рваным).

25 копеечных камер с 5-мегапиксельным разрешением, сгруппированные в матрицу 5x5, позволяют достичь разрешения в 125 мегапикселей, внушающих трепет владельцам драгоценной и тяжеловесной профессиональной техники. 12960 х 9720! (окей, ~10% придется отнять на перекрытия между краями сшиваемых участков, но остаток, согласитесь, все равно потрясает воображение). Кроме того, такое техническое решение почти не налагает ограничений на угол охвата и т.о. позволяет соперничать с дорогими и хрупкими короткофокусниками типа "рыбий глаз", полезными при съемках на многолюдных вечеринках.

Прошу простить, увлёкся: из того, что маркетологи Pelican Imaging называют свою камеру пленоптической, можно вывести, что оптические оси ее объективов параллельны. Но отчего бы не предположить, что конструкция камеры включает [электро]механический рычаг, переводящий ее из пленоптического режима в панорамный?

Не в этой версии, так в следующей...

Впрочем, информацию, получаемую от 25 параллельно ориентированных камер, также можно использовать для нескорого увеличения разрешения (с помощью техники "сверхразрешения").

Вернемся, однако, к цитате. "Параметризация частоты кадров" это очень просто: если каждая из камер способна снимать видео со скоростью 30 кадров в секунду, то массив из 25 поочередно опрашиваемых камер повысит этот показатель до 750 fps (первый кадр итогового видео будет снят камерой №1 в момент времени t; второй кадр -- камерой №1 в момент времени t+1/30/25 и т.д; а к 26-му кадру камера №1 будет приведена в состояние готовности, позволяющему повторение цикла опроса).

Увы, от излюбленных энтузиастами скоростной съемки макросюжетов вроде падения капли чернил в стакан воды при использовании камер системы Pelican придется отказаться, ибо близость объекта усилит параллакс и сделает такое видео "тряским".

"Фокусирование задним числом" - одно из захватывающих свойств пленоптики, и ее, так сказать, визитная карточка. "Взрослые" пленоптические проекты подразумевают моделирование оптического тракта камеры с большой диафрагмой (диаметр такой виртуальной диафрагмы сопоставим с диагональю мультиобъективной матрицы). Простейший способ достичь такого эффекта можно проиллюстрировать на следующем примере: представьте, что камерафон системы Pelican желательно сфокусировать на ворсинку, находящуюся близ плоскости объективов. Из-за параллакса координаты ворсинки в каждом из 25 изображений будут несколько разниться: если в изображении, полученном центральной камерой, ворсинка пришлась на пиксел (100, 200), то в изображениях от камер, соседствующих слева и справа, ворсинка окажется, соответственно, правее и левее на определенное число пикселей (ее координаты могут составить, к примеру, (110, 200) и (90, 200)). Если при попиксельном усреднении изображений заблаговременно сместить каждое из них с учетом параллаксных поправок, результатом станет резко изображенная ворсинка на размытом фоне (если же поправок не учитывать, то, наоборот, фон окажется резким, а ворсинка от него "отфильтруется", что сыграет на руку туристам, иногда вынужденным снимать через грязные окна экскурсионных автобусов и или сетчатые заборы зоопарков).

Разумеется, вычислительной мощности процессоров смартфона с лихвой хватит для программной реализации фильтров, имитирующих расфокусировку неинформативных частей изображения наиэстетичнейшими способами (на фотографическом арго называемыми "боке").

Под фовеальными (fovea - центральная часть сетчатки, характеризующаяся наивысшей плотностью размещения фоторецепторов и т.о. обеспечивающая наивысшее разрешение) понимаются изображения, характер коих отражает специфику работы зрительной системы человека в том смысле, что область зрительского интереса воспроизводится на них четко, а прочие области (приходящиеся на периферийные зоны сетчатки) - нечетко.

Я не понимаю, что имел в виду профессор Левой и какое отношение имеет это понятие к камере Pelican. Напишу-ка я ему письмо, авось ответит. А покамест предлагаю читателям устроить мозговую атаку. Вдруг наши прожекты окажутся конструктивнее профессорских. Не боги горшки обжигают!:)

Для затравки предлагаю такую идею: возможно, профессор имел ввиду, что размещение многообъективной камеры на лицевой панели смартфона позволит с ее помощью отслеживать текущее направление взгляда пользователя и учитывать это направление при синтезе изображений. Это позволит снизить отношение вычислительных затрат к субъективно воспринимаемому "качеству картинки" (к примеру, разрешение, глубину трассирования лучей и прочие графические установки в 3D-играх можно динамически варьировать, с наибольшим тщанием относясь к тем участкам экрана, на которые игрок в настоящее смотрит).

Покончив с цитатой, отметим, что в обсуждениях новинки от Pelican Imaging часто упоминается о микростереопсисе (технологии обработки и воспроизведения стереоизображений, получаемых с помощью миллиметровых стереобаз); об HDR (25 различных экспозиций -- более чем достаточно для съемки в контражуре); о восстановлении 3D-моделей фотографируемых объектов; и о новых перспективах в области жестикуляционных интерфейсов (очевидно, осведомленность системы машинного зрения о глубине изображения может позволить разнообразить язык жестов). Весь этот кажущийся столь ярким спектр наверняка померкнет на фоне урагана идей, который разразится, если разработчики смартфонов с камерами Pelican предоставят соответствующий API разработчикам сторонних приложений под iOS, Android и WM7.

Похоже, что с точки зрения эволюции мобильных устройств, умножение количества объективов - неизбежная закономерность. Вначале объектив был один, потом появились стереофотоаппараты, теперь, вот, 25. Возможно, на смену мультимегапиксельной гонке грядет мультиобъективная? Если вся лицевая сторона современного мобильного устройства обычно отводится под сенсорные экраны, то вся тыльная должна отводиться под устройства регистрации всевозможной информации из внешнего мира. Объективы, чувствительные к различным областям спектра. Микрофоны. Почему бы и нет? Будучи сгруппированы квадратно-гнездовым способом по принципу фазированной антенной решетки, они позволят записывать великое множество звуковых каналов.

Представьте, что ваш фотопросмотрщик и видеопроигрыватель следят за положением курсора, и усиливают крик чайки или шум определенной волны, - в зависимости от текущей области интереса. Буде мышка выпадает из ослабевшей руки телезрителя, пусть он, телевизор, отслеживает положение зрительской головы и сообразно усиливает дребезг трамвая или журчание фонтана в городском пейзаже, крики макак или вопли детей в сюжете из зоопарка, звучание оркестровых инструментов и реплики гостей в репортаже о свадебной вечеринке (последняя возможность открывает перспективы почище пленоптических: представьте, что в ходе ностальгического пересмотра семейных видеоархивов на праздновании золотой свадьбы главу семейства угораздит обратить внимание на реплики пары злоязыких кумушек в темном углу, из коих выяснится, что он, оказывается, 50 лет как рогат).

Интересно, предусмотрят ли разработчики первых камерафонов системы Pelican ломографический режим? Для тех, кто по примеру любителей концептуально схожих ломо-камер предпочитает воспринимать массивы исходных изображений в оригинальном виде.