`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Павел Молодчик

Похвала CMOS

+55
голосов

Сравнение CCD и CMOS — предмет неисчислимых холиваров на фото- и видеофорумах.

Как правило, обсуждение этой темы фокусируется на характерном для CMOS-матриц эффекте щелевого затвора ("rolling shutter effect"), он же "wobble" ("вихляние"), он же "jello" ("холодец"). Мой пост не будет исключением из этого правила (но вместо критики эффекта щелевого затвора он будет посвящен апологетике).

Для затравки — два сюжета, состоявшихся благодаря щелевым затворам (механическому и электронному): классическая фотография Жака-Анри Лартига, без которой никакой серьезный разговор на эту тему не обходится

Похвала CMOS
а также случайное фото некоей владелицы айфона, чей заинтригованный друг-физик дал себе труд подвергнуть ее обстоятельному математическому анализу.

Похвала CMOS
Не вдаваясь в детали, зададимся вопросом: передана ли скорость движения пропеллера? Еще как! Хотя и не без толики инфернального очарования.
Rolling shutter может претить или импонировать, так что для одних это — дефект, а для других — изобразительное средство, и граница меж ними определяется не только врожденными вкусами, но и привычками, приобрести которые многие не еще успели, ибо CMOS-матрицы стали доминировать на рынке ЦФК и охватили все его ниши от дешевейших ("Flip") до дорожайших ("Red") относительно недавно. То, что для нас — уродство, нашим потомкам может показаться естественным и красивым.

Заметим, что CCD-матрица, экспонированная с аналогичной выдержкой, запечатлела бы статичное, скучное и относительно малоинформативное изображение трехлопастного пропеллера, из которого невозможно было бы сделать вывод о том, вращается ли он, или покоится (а если вращается — то с какой скоростью).

Если вы не готовы вникать формулы, коими изобилует вышеупомянутый математический разбор, взгляните на видео, объясняющее причины причудливой деформации вращающихся пропеллеров с исключительной наглядностью.

Относительно высокая информативность изображений, получаемых с камерами с CMOS-матрицами, объясняется "подмешиванием" к координатам 2D-изображения временнОй компоненты фиксируемого пространства-времени, что позволяет глубже судить о быстрых процессах.

На последней конференции Siggraph исследователи из MIT представили впечатляющий результат восстановления звука по едва заметным глазу вибрациям, сотрясающим валяющийся на полу пластиковый пакет из-под чипсов.
Для съемок (проводившихся ради чистоты эксперимента через звуконепроницаемое окно) использовалась камера, оснащенная CMOS-матрицей и способная снимать с частотой 60 кадров секунду.
При использовании CCD матрицы сходных характеристик предельная частота реконструируемых вибраций оказалась бы ограничена теоремой Котельникова-Найквиста и составила бы безысходно инфразвуковые 30 Гц.
Один из популярных ИТ-журналистов предложил использовать данную технологию для озвучивания старых немых фильмов. Шутки шутками, но существуй во времена Чарли Чаплина CMOS-матрицы, — почему бы и нет?

Косвенным признаком информативности эффекта щелевого затвора можно считать значительную вычислительную сложность синтеза изображений, демонстрирующих данный артефакт. Эта сложность обусловлена необходимостью построчной перестройки анимированной сцены (и оптимизации ее, например, для трассировки лучей). Впрочем, бескомпромиссно строгий подход потребовал бы еще и учета тонких эффектов, обусловленных зависимостью вида некоторых объектов сцены от вида, имевшегося некоторыми другими ее объектами в недавнем прошлом (ведь во временной интервал меж считыванием строк со стандартной по нынешним временам 16-мегапиксельной CMOS-матрицы свет успевает пройти около километра, что вписывается в масштабы пейзажных сюжетов).

А вот еще один поучительный ролик, удостоившийся выбора администрации сайта vimeo. Будучи снят камерой GoPro, приклеенной в автомобильному колесу обычным скотчем, он примечателен не только гениальной простотой концепции и реализации, но и живописностью порождаемых эффектом щелевого затвора калейдоскопических гипноспиралей.

Аналогичная идея реализована автором ролика, приклеившего к колпаку автомобильного колеса айфон, работающий под управлением популярного приложения Horizon App (служащего для автоматического выравнивания горизонта).

Результат демонстрирует не только киногеничность, но и спидометричность: степень искривления пространства пропорциональна скорости движения (феномен, известный любителям научной фантастики о путешествиях на околосветовых скоростях).

Еще одно остроумное место для укрепления айфона — внутренняя стенка гитары. Эффект щелевого затвора превращает струны, вибрирующие и змеящиеся на фоне облаков, в готовый видеоклип (почитаемый любителями киноклассики Кэрол Рид не преминул бы воспользоваться CMOS-матрицей для записи начальных титров "Третьего человека").

Сабвуферы, калимбы, и мн. др. объекты выглядят куда занимательнее, если снимать их CMOS-матрицами.

Что до характерной для CMOS частичной экспозиции, то и от нее может быть польза. Напр., по этому эпическому снимку легко с точностью до десятка микросекунд определить продолжительность вспышки молнии.
Похвала CMOS

Конечно, художественные достоинства этих роликов и снимков настолько спорны, что вне зависимости от моего отношения к ним было бы странным намекать, будто достоинства эти перевешивают проблемы, с которыми то и дело сталкиваются операторы, снявшие сюжет тряской рукой и обнаружившие при его воспроизведении малопривлекательную (выглядящую безусловным браком) "холодцовую" тряскость картинки. Но я ведь и не думаю делать подобных намеков. Вместо того, чтобы противопоставлять недостатку CMOS какие бы то ни было достоинства, я подточу предубежденность противников данной технологии с другого фланга, отказавшись этот недостаток признавать. Ведь вот уже два года как достоянием широкой общественности сделались инструменты эффективного (и не требующие хлопот, связанных с калиброванием камеры) подавления такого рода брака, — я имею ввиду фильтры Warp Stabilizer VFX и Stabilize, почти одновременно появившиеся в Adobe CS6 и YouTube. Эти фильтры (о результативности которых можно составить мнение, например, по этому набору иллюстративных роликов к научной статье) — плод интенсивных изысканий в области борьбы с "холодцом", годами проводившихся как в академических учреждениях, так и в недрах Adobe и ее конкурентов. Крупными авторитетами в данной области считаются Саймон Бейкер (Simon Backer) из Microsoft и Маттиас Грундманн (Matthias Grundmann) из Google.

Вероятно, многочисленные хулители CMOS, объявляющие эффект щелевого затвора существенным недостатком данной технологии, плохо следят за новостями и потому не осведомлены о существовании этих фильтров, или не понимают, как они работают, и потому исключают их из своей картины видения мира (дабы не потерять лицо, попавши при углубленном обсуждении впросак).
В последнем случае да поможет им мое объяснение на пальцах.
Похвала CMOS

Похвала CMOS

Похвала CMOS

Похвала CMOS

Похвала CMOS

Похвала CMOS

Похвала CMOS
Предположим, что в ходе съемки некоего объекта (сопровождающегося вертикальным движением "электронного щелевого затвора" сверху вниз) камера сместилась вдоль некоторой траектории, в результате чего изображение объекта деформировалось.
Сделаем репродукцию распечатки этого деформированного изображения, на
сей раз отправив камеру в путь "с точностью до наоборот", — т.е., по траектории, зеркально отображающей исходную вдоль горизонтальной и вертикальной осей.
Ясно, что если в ходе первой съемки изображение некоторого элемента объекта в момент времени t (считая с начала движения затвора) оказалось на (x,y) пикселей смещено места где ему надлежало бы быть, экспонируйся все пикселы водночасье, то повторная репродукция вернет его куда следует.
Разумеется, "вторая съемка" упомянута мною в порядке мысленного эксперимента: вместо реальной камеры алгоритм восстановления исходного изображения задействует виртуальную. Ясно, что основным залогом успешности результата является точность описания исходной траектории, сообщенной камере тряскими руками оператора. Для ее определения алгоритм вычисляет оптический поток меж последовательными кадрами, что, в свою очередь, сопряжено с поиском реперных точек и отслеживанием их перемещения из кадра в кадр, — т.е., в этом отношении он действует подобно обычному ПО для стабилизации видео. Но если обычное ПО подвергает поток покадровому усреднению (с целью определения параметров глобального преобразования, имеющего целью минимизировать попарные межкадровые различия), то "антихолодцовый" фильтр усредняет значения векторов оптического поля построчно. Цепочка, выстроенная из m векторов (где m — количество строк в изображении) и составляет траекторию движения камеры.

Отметим, что реальные алгоритмы устроены много сложнее, ибо им приходится отсеивать возмущения, вносимые в оптическое поле движущимися в поле зрения камеры объектами, а также бороться с непроизвольными вращениями камеры вокруг оптической оси, пытаться угадать оптическое поле в областях, бедных реперными точками и решать множество прочих сопутствующих задач.

Альтернативный способ предложен Александром Карпенко сотоварищи из Стэндфордского Университета. В его рамках траектория восстанавливается на основании показаний встроенного в съемочный гаджет гироскопа.

Весьма точный способ восстановления траектории движения камеры по оптическому полю состоит в оснащении гаджета дополнительной камерой, устроенной на манер оптического датчика современных компьютерных мышек (обладающих низким разрешением и очень высоким быстродействием).

Отметим, что современный уровень вычислительной мощности съемочных гаджетов позволяет применять два последних подхода для эффективной борьбы с "холодцом" в реальном времени. Отметим также могущую показаться загадочной неактуальность проблемы "холодца" во времена господства аналоговых видеокамер. Они ведь тоже сканировали изображения сверху вниз и потому обязаны проявлять все присущие CMOS-сенсорам артефакты, включая "холодец", не так ли? Отгадка такова: в старые добрые времена теплых ламп изображения фиксировались на видеоленте и отображались на экранах кинескопов идентичным образом и в идентичном ритме. Т.о., безыскусность тогдашних технологий служила естественным противоядием от "холодца".

Чем можно подытожить вышеизложенное? Ну, например, замечанием насчет sic transit gloria mundi: печалящий мировую фотографическую общественность крах продавшейся китайцам фирмы Rollei закономернее, чем принято думать. Конечно, глобализация и закат Запада сыграли большую роль в трагедии компании, олицетворявшей понятие "вечная классика" и воплощающей мощь вековых традиций, связанных с прецизионной немецкой механикой и светосильной оптикой. Но у случившегося есть и более объективные причины, связанные с текущей спецификой НТП, все в большей степени делающего основным мерилом достоинств съемочной техники совершенство алгоритмов обработки изображений. Увы, эта область исторически настолько чужда для титанов вроде Rollei, что их уход с лидерских позиций был предрешен. Для Rollei и Rolex звездный час миновал по сходным причинам: самые дешевые электронные часы и "мыльницы" из Нового Света и КНР превосходят точностью хода и функциональностью и практичностью самую благородную и драгоценную швейцарскую механику.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+55
голосов

Напечатать Отправить другу

Читайте также

Ссылка на математический разбор нерабочая

Спасибо, поправил

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT