`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Павел Молодчик

Системы стабилизации изображения: несколько старых и две новые

+66
голосов

Общеизвестно, что систем стабилизации изображения (ССИ) есть на массовом рынке две:

- цифровая (дешевая и некачественная, основанная на приводящем к "замыливанию" процессе фильтрации непоправимо размазавшихся при съемке изображений), и

- оптическая.

Общеизвестно также, что оптические ССИ бывают двух типов: с подвижной линзой (Canon, Nikon) и подвижной матрицей (Pentax, Olympus, Fujifilm, Sony, Samsung, Casio...)

Менее известна оптическая ССИ, продвигаемая последнее время JVC. В ней подвижных линз не одна, а две. И размещены они не внутри оптического тракта, а впереди него. Каждая из таких линз обладает не двумя степенями свободы (как у Canon), а одной (линзы качаются вокруг осей, проходящих над и под оптической осью объектива).

Это - единственная ССИ, работа которой видна стороннему наблюдателю.
И не просто видна, а прямо-таки волшебно она смотрится:

Я б сказал, что на наших глазах впервые за несколько веков своего существования объективы перестают сверлить душу холодным немигающим взглядом (который столь эпически проэксплуатировал Кубрик в "Одиссее 2001") и потихоньку начинают производить впечатление некоторой живой осмысленности.

Вообщем, я удивлен, почему вокруг явной киногеничности этой системы маркетологами JVC не развернута масштабная рекламная кампания.

Зато не приходится удивляться отсутствию рекламной кампании вокруг давно известной в узких кругах бесплатной ССИ (немудренно: кто ж станет рекламировать бесплатное?) При всей своей примитивности она поразительно результативна (я этот рецепт испробовал и готов за него поручиться)

Интересно, получит ли распространение в области кино-/фотостабилизации использование игрушечных радиоуправляемых электровертолетиков вроде этого. Тут я шучу лишь отчасти: взгляните на приведенные на сайте проекта ролики и обратите внимание на немыслимую при съемке "с рук" плавность движения камеры и оцените перспективы, которые могут открыться по в ходе целенаправленного совершенствования этой конструкции в качестве съемочной платформы, конкурирующей с баснословно дорогими "стедикамами", тележками и кранами.

Относительная дешевизна поможет смириться с такими недостатками, как:
- досадные проблемы при съемках пивной рекламы (пена из снимаемых крупным планом бокалов будет выдуваться);
- снижение эффективности при порывистом ветре;
- дпефицит подъемной силы, потребной для транспортировки массивной светосильной оптики.

Еще один способ достичь профессиональной плавности движения может состоять в использовании высокоскоростных камер вроде Casio EХ F1, которыми я читателям моего блога все уши прожужжал. Здесь я упомянул их потому, что на скорости 600 fps снять дергающийся видеоряд в стиле триеровской "Догмы" не получится, даже если трясти камеру нарочно.

Упомянем эзотерическую ССИ на основе ПЗС-матриц с отрогональным переносом (Orthogonal Transfer CCD или OTCCD), применяемую в настоящее время в астрофотографии (надобность в шейк-редакшне в данном случае связана не с сотрясением не корпуса телескопа, а с перемешиванием разнотемпературных слоев атмосферного воздуха из-за которого изображение в поле зрения телескопа то и дело дрейфует в непредсказуемом направлении).

Чтобы понять принцип OTCCD, рассмотрим, каким образом считываются данные с обычной 5-мегапиксельной (2592х1944) CCD-матрицы. Процесс этот занимает 2592 цикла, в ходе которых числа, отражающие количество поглощенной каждым пикселем световой энергии, последовательно смещаются направо (или налево, - в зависимости от того, как устроена матрица, а т.ж. как она укреплена, и с какой стороны окидываем мы ее мысленным взором).

С каждым очередным циклом новый "выходящий за пределы матрицы" столбец переносится в буферный линейный массив из 1944 элементов, а оттуда - в ОЗУ для последующей обработки, и, наконец, во флеш-память.

Таким образом, изображение в ходе считывания движется в пределах CCD-матрицы вдоль строк.

OTCCD же позволяет организовывать смещение не только вдоль строк, но и, по мере необходимости, вдоль столбцов. И не только в ходе считывания, но и в ходе экспонирования. Можно сказать, что ССИ на основе OTCCD отличается от привычной системы стабилизации на основе подвижной CCD тем, что в ней движется не сам фотоэлемент, а аккумулируемая им информация.

Для CMOS-матриц подобную ССИ реализовать нельзя, ибо они опрашиваются принципиально иным образом: текущие значения освещенности сканируются попиксельно (к примеру, "слева-направо, сверху-вниз"). Процесс сканирования занимает некоторое время, и если в течение этого времени вид в поле зрения камеры изменится, то изображение исказится - как на классической фотографии Жака-Анри Лартига, использовавшего вызываемые щелевым затвором артефакты для реализации художественного замысла.

Системы стабилизации изображения несколько старых и две новые

Видео-артефакты, связанные с "эффектом щелевого затвора" тоже могут иметь художественную ценность.

Однако, гораздо чаще они вызывают неприглядный "желейный эффект" ("jello effect"; понять происхождение этого названия нетрудно, посмотрев, к примеру, этот ролик)

Желейный эффект примечателен тем, что он совершенно не поддается исправлению программными средствами. Чтобы понять, характер вызываемых им проблем, представьте, что, снимая чей-то портрет, вы наклонили камеру на долю градуса вниз в тот момент, когда сканирование дошло до уровня бровей вашей модели. Результатом может стать перескакивание сканирующей линии на нос, и, соответственно, полное исчезновение из вашего кадра глаз.

Видео, снятое "с рук" CCD-матрицей выглядит менее детализировано, зато более естественно (изображение размазывается в направлении движения примерно в том же стиле, какой нам с вами приходится наблюдать в силу инерционности рецепторов сетчатки).

Здесь же стоит упомянуть ставший гвоздем прошлогоднего SIGGRAPH'а амбициозный проект в обл. ССИ, развиваемый в Университете штата Висконсин и в Adobe.

Его принципиальное отличие от рассмотренных выше - в способности стабилизировать не только ориентацию, но и координаты камеры. Созданное в его рамках ПО, по сути, реконструирует 3D-сцену, а т.ж. траекторию движения камеры в ней, после чего исходный видеоряд заменяется 3D-визуализацией, выполняемой с точки зрения виртуальной камеры, движущейся по прямой или по аппроксимирующему сплайну.

К сожалению, ни текущая, ни последующие версии этого ПО не могут гарантировать полного отсутствия артефактов визуализации (впрочем, вполне возможно, что массовый потребитель легко с ними примирится).

Опишу, наконец, две обещанные в заглавии "новые системы стабилизации" собственного изобретения. Что до приоритета: с одной стороны, рассчитывать на него не приходится (идеи-то на поверхности лежат), а с другой - должен сказать, что пара часов, потраченных на попытки оценить их новизну, плодов не принесла.

Идея №1. Представьте, что к эргономичной рукояти вроде велосипедного руля приделаны несколько управляемых процессором актуаторов, поддерживающих и ориентирующих штативную головку (и камеру на ней) в неподвижном положении в мировых координатах (для их точного определения можно использовать комбинацию инерциальной и интерферометрической навигации, или что-то еще; это дело техники). В этом режиме гаджет заменяет собой штатив. Более того, он функциональнее штатива, ибо им можно пользоваться, к примеру, в стадионной толчее. Если же актуаторы перемещают камеру с заданной скоростью вдоль прямой или иной траектории, то гаджет заменит съемочную тележку или кран. Задача оператора сводится к транспортировке платформы таким образом, чтобы штативная головка не покидала пределов зоны досягаемости (это может быть, к примеру, связанный с платформой воображаемый куб с ребром эдак сантиметров 20)

Прокладывать сплайновые и линейные траектории перед съемкой можно с помощью графического интерфейса (напр., рисуя линии мышкой в пространстве смоделированной сцены), либо с помощью расположенной на рукояти кнопки, нажимая на которую оператор волен вводить в память бортового компьютера координаты якорных точек или вершин.

Гаджет можно эксплуатировать и без предварительного программирования в режиме эмуляции "стедикама", от которого он будет отличаться двумя важными преимуществами:

- легкостью (в то время,  когда космические корабли бороздят просторы Большого Театра, поразительно низкотехнологичный "стедикам", представляющий собой попахивающую темными веками систему шарниров и противовесов, весит ~20 кг. и требует от оператора атлетической подготовки)

- компьютерной точностью работы.

Вероятно, в последнем пункте и кроется подвох, не позволяющий коммерциализовать идею №1: должно быть, быстродействие исполняющей системы на современном технологическом уровне не позволяет добиться достаточно оперативного выполнения команд процессора для того, чтобы непроизвольные движения рук оператора не нарушали неподвижности "картинки".

Идея №2. Предлагаю оснастить ЦФК двумя CMOS-матрицами, свет на которые будет падать через полупрозрачное зеркало (на одну - проходящий через зеркало, на другую - отраженный). Пусть одна из матриц сканируется "сверху вниз", а другая - "снизу вверх". Сопоставляя получаемую пару изображений (а т.ж., возможно, учитывая показания акселерометров), ПО может определить характер движения камеры в ходе экспозиции и восстановить из двух искаженных изображений одно "нормальное". Это ПО может быть встроенным, либо реализованным в виде пакета для постобработки. Обратите внимание, что вышеописанный пример с глазами портретируемого утрачивает для такой камеры значение: глаза, пропавшие на матрице А, окажутся дважды запечатлены матрицей Б, что предоставит ПО необходимые для реставрации данные.

Буду рад любым жалобам и предложениям!

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+66
голосов

Напечатать Отправить другу

Читайте также

Друга ідея достатньо перспективна і дивно чому ще не втілена. Хоча, для її реалізації потрібні не менш швидкісніші засоби, ніж для першої.

Идея №1 совсем не нова при чем не одно десятиление. А стабилизированные платформы, в военном деле в частности для стабизизации башни и пушки танка появились еще до того как я стал инженером. Вопрос лишь в цене - если бы возможно было сделать такой продукт массовым, думаю цена бы уменьшилась, но кому это нужно в таких масштабах. Впрочем "бесплатную ССИ" можно не сложно усовершенствовать заменив противовес на 2 рычажных подвеса с 3-мя степенями свободы каждый и с маленьким значением относительного модуля упругости. Такая система будет (даже должна) весить значительно меньше массы камеры. Ее эффективность будет увеличиваться с увеличением массы или (и) размера камеры. Также ее эффективность будет увеличиваться с уменьшением относительного модуля упругости подвески рычагов (но при этом увеличиваться сложность центрирования камеры и поддержка широкого диапазона веса камер). Хотя если в эту систему добавить какие-то механизмы автоматического центрирования камеры, возможно она будут удобна.
А ваша идея о применении процессора и активной стабилизации приведет к 1. Существенному росту массы всей системы (понадобится кроме мощных двигателей еще и гироскопы, мощные корпусные детали) 2. Огромному потреблению энергии 3. Все компоненты системы должны быть очень прецизионными (а значит дорогими), чтобы превзойти по эффективности описанную выше 2-х рычажную систему.
А для камер с маленьким весом возможно подойдет вариант с магнитной подвеской (если ветра не будет). Только будет часто выпадать из поля действия магнитной системы. Недавно видел такую подвеску в продаже, но декоративную.

забыли еще специальные штативы и крепления на руку для стабилизации изображения, которые активно используются для съемки голливудских фильмов и начали пробиваться и к обычному пользователю

Ремешок от фотоаппарата за шею. С усилием натягиваем в вытянутых руках, задерживаем дыхание и выдержка 0.5 сек практически идеально выходит. А если потренироваться то и 1 секунду можно нормально держать для эксивалента 35 мм. Так-что зачем какие-то приспособления с собой носить?

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT