`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Павел Молодчик

Photosynth и Hyperlapse

+44
голоса

Технология Miscrosoft Photosynth, впервые представленная широкой общественности в 2008 году, медленно но неуклонно развивается: 2 года назад вышло приложение Photosynth для Windows Phone, а одним из "гвоздей" недавней конференции Siggraph стала презентация особой фирменной концепции Miscrosoft Hyperlapse, которую можно условно охарактеризовать как результат адаптации Photosynth к обработке видео.
Если в рамках Photosynth формирующие 3D-облако реперные точки отыскиваются в наборе статичных изображений, то алгоритм Hyperlapse работает в пространстве-времени.

Результат Photosynth — особая форма организации слайд-шоу, улучшающая способность фотографий фиксировать туристские впечатления за счет отображения фотографических образов в 3D-пространстве примерно в том же естественном духе, в каком они, по-видимому, присутствуют в человеческой памяти (предпринимавшиеся попытки популяризовать данную технологию среди архитекторов и риэлтеров особого успеха не имели, так что в настоящее время она ассоциируется преимущественно с туризмом).

Следствием такого улучшения организации фотоальбомов является экономия времени при их просмотре. Если туриста, побывавшего в Париже и нащелкавшего там тысячу снимков, заинтересовал, например, барельеф страшного суда над центральным входом в собор Парижской Богоматери, то добраться до нужной фотографии он сможет не более чем в три интуитивных щелчка мышки: первым делом он локализует группу снимков, сделанных в окрестностях собора, затем щелкнет на фронтальном виде и т.д.

Важность этого следствия трудно переоценить, — ведь по мере роста объемов визуальной информации, обусловленного совершенствованием эргономики доступных пользователю средств ее регистрации (и снижением удельной стоимости ее хранения на локальных носителях и в Сети) информация эта парадоксальным образом оказывается все менее способной исполнять свое изначальное предназначение, — а именно, служить отражением полученных пользователем впечатлений. Из-за этого все большая часть наших цифровых архивов обречена на вечное погребение в завалах и отложениях, для ручного разбора коих ни нам ни нашим потомкам недостанет ни времени ни сил, так что все упования на возвращение нашим фотографиям и клипам их изначальной значимости остается возлагать на ту или иную форму автоматизации, концентрирующей и трансформирующей фото- и видеосырье в материал, обладающий повышенной информативностью, а также способностью провоцировать зрителя на эмоциональный отклик.

Именно на такую роль претендует технология Microsoft Hyperlapse, чья целевая аудитория — растущее сообщество пользователей GoPro-подобных гаджетов. Типичный сценарий ее использования — автоматическая трансформация длинного ролика, снятого в реальном времени, к примеру, альпинистом, в двухминутный облет покоренной им скалы, демонстрируемой с точки зрения как бы виртуального шерпа, сочетающего сверхъестественную быстроногость с профессионализмом стеди-камерамена.

С технической точки зрения Microsoft Hyperlapse — одна из пост-продакшн технологий стабилизации изображения вроде тех, что известны пользователям YouTube, VirtualDub и Adobe After Effects под названиями Stabilize, Deshaker и Warp Stabilizer VFX. В отличие от них, она исправляет дефекты, обуславливаемые не только угловыми, но линейными непроизвольными перемещениями камеры.
Читатели, интересующиеся положением дел в области видеостабилизации, возможно, следят за амбициозными исследованиями, ведущимися при поддержке Adobe работами Фэня Лю (Feng Liu) сотоварищи из Висконсинского университета в Мадисоне. Их технология, впервые доведенная до внимания широкой общественности на Siggraph'2009, также способна исправлять последствия линейной тряски, что до известной степени сообщает любительскому видео сходство с результатами использования громоздкого и баснословно дорогостоящего профессионального оборудования вроде операторских рельсовых тележек и стедикемов. Результаты впечатляют, однако, каждый порождаемый ею кадр является результатом морфирования и обрезки исходного, что накладывает на ее возможности существенные  ограничения. Чрезмерное удаление реальной камеры от идеализированной траектории чревато слишком заметными деформациями, а также появлением артефактов, связанных с окклюзиями (для предотвращения темпоральных артефактов Лю сознательно отказался от алгоритмов генерирования текстур для заполнения участков фона, приоткрывающихся за объектами переднего плана при рыскании камеры, предпочитая вместо этого фон деформировать).

Hyperlapse таких ограничений лишена, ибо в ней каждый кадр — результат визуализации 3D-сцены, упрощенная модель которой строится на основе реперных точек и текстурируется исходными кадрами. Возможно, будущие версии Hyperlapse обретут интерактивность и позволят до некоторой степени управлять ракурсом и движением виртуальной камеры в ходе просмотра, но в текущем виде такие возможности отсутствуют: алгоритм самостоятельно позиционирует и ориентирует виртуальную камеру с целью максимального устранения артефактов, опасность которых может обусловливаться недостаточностью информации о окружающей действительности. Ниже изображен пример диаграммы, отражающей достоверность сведений об окружающей действительности в определенный момент времени на птолемеевой развертке (фиолетовая рамка очерчивает поле зрения виртуальной камеры, ориентированной в наиболее безопасном направлении).

Photosynth и Hyperlapse

Если Microsoft Hyperlapse овладеет умами масс, энтузиасты, возможно, станут пользоваться несколькими камерами (вероятен т.ж. рост акций производителей систем организации видеорегистраторов в массивы для панорамных съемок вроде http://freedom360.us/).

Интересно, что лобовое применение заимствованных из Photosynth итеративных алгоритмов локализации реперных точек к исходным кадрам десятиминутного ролика заставило систему задуматься на неделю (впрочем, о производительности системы в представленной на Siggraph статье авторы не упоминают). Поэтому им пришлось дробить исходный материал на сегменты (по 1400 кадров каждый, из которых 400 отводятся для перекрытий, предотвращающих рывки в местах склейки).

Один из типичных продемонстрированных посетителям конференции Microsoft Hyperlapse-роликов, был получен в ходе ужимания 13-минутного исходного материала до 73 секунд. Выполнение этой задачи поглотило около 40 часов процессорного времени. Впрочем, по словам разработчиков, имеется много пространства для оптимизации, результатом которой в скором будущем может стать портирование технологии на мобильные гаджеты.

В заключение — граничащее с оффтопиком отступление в область культурологии и этимологии.

Да будет вам известно, что "hyperlapse" — свежий неологизм, пущенный в обиход американским видеохудожником Дэном Экертом (Dan Eckert). Нужда в неологизме возникла у него потому, что традиционные термины вроде "motion time-lapse" ("цайтраферная съемка движущейся камерой") стали, по мнению Экерта, неадекватно отражать суть практикуемой им техники, часто предполагающей не просто движущуюся камеру, а движущуюся весьма активно, и притом по пересеченной местности (термин "walk-lapse", предполагающий съемку с рук с шаговым интервалом, тоже показался ему слишком ограниченным).
Широкую популярность неологизм приобрел с подачи собравших множество "лайков" на YouTube и Vimeo ролика Google Street View Hyperlapse канадского агентства Teehan+Lax, а также работы Berlin hyper-lapse немецкого видеохудожника Шахаба Габриэля Безуми (Shahab Gabriel Behzumi).
Таким образом, упомянутые видеохостеры сыграли ключевую роль в обогащении английского языка новым термином, который уже в википедии вот-вот попадет Большую Британскую Энциклопедию. По крайней мере, составители последней организовали каталог цайтраферных роликов corporate.britannica.com/project-time-lapse/, обладающих выдающейся (по их мнению), образовательной и культурно-эстетической ценностью, и в их сопроводительных текстах термин "hyper-lapse" поминается то и дело (кстати, обратите внимание, что ни Киев ни Украина в респектабельном цайтраферном каталоге еще не представлены, так что есть случай прославиться).
"Google Street View Hyperlapse" — чарующий гениальной простотой медитативный ролик, исходным материалом для которого послужили фотографии, сделанные "гугломобилями" в особо живописных местностях (желающие сделать что-то подобное самостоятельно приглашаются его создателями на на сайт http://hyperlapse.tllabs.io/).
Что же до второго ролика, то примечательно трогательное интервью, данное его создателем Гюнтеру Вегнеру (Gunther Wegner), — автору пакета LRTimelapse, высоко ценимого энтузиастами покадровой съемки (одно из главных ее достоинств — способность выравнивать межкажровые перепады яркости и контрастности, обуславливаемые переменчивостью освещенности сцены).
Во всяком случае, именно это интервью главным образом подвингуло меня на написание этого поста.
В нем Безуми описывает особую Hyperlapse-субкультуру: "...без конца я кружил как одержимый вокруг домов и скульптур, углубляясь в съемочный процесс до такой степени, что переполнение очередной карты памяти всякий раз становилось для меня неожиданностью. Часы летели, как минуты. Концентрируясь на пребывании в состоянии "здесь и сейчас", наиболее естественном для передачи фиксируемой атмосферы, я растворялся в съемочном процессе и ощущал, как меня подхватывает невидимый поток. В 2007 начались мои занятия в маннхаймской академии искусств, где я получил горячую поддержку как профессоров, так и соучеников, хотя никто из них не был на тот момент знаком с творческим методом".
Задумайтесь о масштабах и скоротечности трагедии: художник, стоящий у истоков изобразительного метода, основанного на новых технологиях, избирает его своей судьбой и терпит жизненный крах от столкновения с технологией новейшей, которая позволяет (или скоро позволит) нажатием нескольких кнопок достигать результатов, дотоле поглощавших бездну кропотливого и самоотрешенного труда.
Конечно, история знает много катастрофических столкновений с джагернатом научно-технического прогресса. Ткачам и счетоводам пришлось переквалифицироваться в управдомы из-за появления ткацких станков и компьютеров. Но чтобы от возникновения субкультуры до ее краха миновало менее десяти лет, — это, по-моему, происшествие неслыханное.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+44
голоса

Напечатать Отправить другу

Читайте также

UPD: через несколько месяцев после доклада Microsoft ответный удар нанесла Instagram, опубликовавшая https://itunes.apple.com/app/hyperlapse-from-instagram/id740146917?mt=8 бесплатное приложение для съемок в стиле Hyperlapse. Будучи устроено проще, оно не столь ресурсоемко. Пример его работы - ролик "4 нью-йоркских моста в 45 секунд" https://www.youtube.com/watch?v=7lTxRR38tbY. Приложение доступно только для iOS (впрочем, пользователей Android разработчики тоже обещают не обойти вниманием).

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT