О проекте Human Speechome и видеоарте

4 декабрь, 2009 - 21:19Павел Молодчик

Несколько месяцев назад на популярных технических и не столь технических сайтах активно обсуждался проект Human Speechome Project (реверанс в направлении Human Genome Project), реализуемый Дебом Роем (Deb Roy) из MIT и его новорожденным сыном. Цель проекта -- фиксирование и анализ информации, получаемой (и производимой) ребенком в течение первых лет жизни, знаменующихся пробуждением сознания и дара членораздельной речи.

Зачем это нужно? Нууу, если, к примеру, вам удастся запрограммировать электронный мозг смышленее человеческого, то профессор Рой готов предоставить 150ТБ, которые нужно подать новорожденному гомункулусу на вход, чтобы он произнес "папа". Вернее "daddy". Кстати, 150ТБ -- это, так сказать, программа-минимум: в зависимости от сопутствующих обстоятельств счет в проекте Human Speechome может пойти на петабайты.

Правда, из этой информации будет исключена интерактивная компонента, так что лучше уж вам повозиться со своим детищем самому в течение двух-трех лет (или ради ускорения процесса попытаться каким-либо образом отдать его на воспитание механическому турку).

С другой стороны, не успеет еще стать профессор Рой дедом (180 месяцев спустя) как стоимость развертывания системы согласно закону Мура тысячекратно уменьшится, и подобные эксперименты станут всем по карману. Уже сегодня спроектирован т. наз. Speechome Recorder. Пытаясь привлечь общественное внимание к этому относительно доступному устройству, профессор Рой высказывает предположение, что в сочетании со спец. ПО оно сможет автоматизировать выявление аутизма на ранних стадиях, а также оптимизировать работу приказчиков. Представьте-ка себя в роли приказчика, снующего от клиента к клиенту под неусыпным надзором всевидящего надсмотрщика. Или в роли клиента, который знает, что если он подойдет к приказчику со спины, то выйдет так, что приказчик будет некоторое время повернут к нему задом, и из зарплаты несчастного по его милости вычтут 2%. Вообщем, перспективы тут вырисоваются до того унылые, что лучше уж продолжим говорить о детях.

Проникнув в каждый дом подключенные к центральному серверу Speechome Recorder'ы позволят сопоставлять подаваемые на вход детям данные с получаемыми на выходе результатами, и т.о. воспитание, наконец-то будет поставлено на научную основу. Мировое сообщество родителей возьмет на вооружение метод градиентного спуска и устремится к глобальному оптимуму, могущему поднять педагогику на головокружительные высоты (вдруг окажется, что оптимальная расстановка битов с байтами позволяет даже из обезьяныша воспитать полезного члена общества?:).

Заглядывая в послезавтрашнее будущее можно разглядеть что-то вроде компьютерного симулятора ребенка, на котором родители будут обязаны практиковаться прежде, чем заводить настоящего. И получать надлежащий сертификат. Нарушители будут подвергаться такому же остракизму, как практикующие инцест. И то сказать: стотысячелетнее табу на инцест предотвращает рождение детей, чья неполноценность обусловлена неблагоприятным влиянием генетических факторов, а табу на бессертификационное деторождение предотвратит уменьшит количество особей, чья неполноценость обусловлена неблагоприятным влиянием среды. Если влияния среды и наследственности сказываются на формировании личности в равной степени (как сегодня принято думать), то, надо полагать, что и табу будут в равной степени сильными.

Еще труднее переоценить важность проекта, если взглянуть на него глазами потомков, отдаленных от нас несколькими тысячелетиями. Ведь сегодня любой египтолог готов закласть себя в жертву Тоту в обмен на подробный отчет о событиях, изо дня в день происходивших в жилище какого-нибудь древнего египтянина среднего класса. Правда, профессору Рою придется озаботиться задачей избавления данных от судьбы Александрийской библиотеки (на первый взгляд хорошим способом представляется отправка их на Луну в виде колоды платиновых перфокарт).

Весьма вероятно, что ни одна из описанных перспектив не оправдается, и данной инициативе MIT не удастся обогатить ни психологию, ни теорию ИИ. Тем не менее проект следует считать полезным и восхищения достойным, ибо он принадлежит к ряду тех явлений, порожденных удешевлением систем записи и хранения мультимедийной информации, которые, в свою очередь, порождают новые инструменты, потребные для интерпретации и визуализации этой информации. Необходимость в новых инструментах объясняется просто: для того, чтобы каким-либо образом охватить сознанием 150 терабайт клипов, снятых 11 веб-камерами, и извлечь из них что-либо полезное, традиционные мультимедийные проигрыватели подходят также плохо, как текстовый редактор -- для работы с файлом human_genome.txt.

Как свидетельствует видеоролик, сгенерированный созданной в рамках проекта Human Speechome программой TotalRecall, эти инструменты представляют не только практический, но и эстетический интерес (и именно эта их сторона послужила вдохновляющим фактором для написания данного поста)

Согласно принятой разработчиками терминологии, ролик показывает нам рождение "пространственно-временного червя" (“a space-time worm”). Обратите внимание на равномерное смещение текстуры, свидетельствующее о знакомой читателям моего блога подмене одной из пространственных координат осью времени. Расхожее выражение "течение времени" с помощью этой подмены превращается из абстрактной метафоры в зримый образ.

Есть анекдот о мальчике который не проронил до 6 лет ни слова, так что пригорюнившиеся родители собрались уже его сдавать в спецшколу, когда он вдруг сидя за столом заметил вслух:
- Каша нынче горячая.
- Батюшки святы! Отчего ж ты раньше молчал?
- Оттого, маменька, что раньше каша была нормальной температуры.

С учетом воспоминаний популярной бельгийской писательницы А. Нотомб о своем не вполне нормальном детстве эта история кажется довольно-таки реалистичной. В романе "Метафизика труб" она рассказывает, что первые два года свой жизни она пролежала в граничащей с параличом апатии, а затем впала на несколько месяцев в лютое неистовство, давая родителям спать не более двух часов в сутки:

Врачи разобрались в этом состоянии не больше, чем в предыдущем: 'патологическая апатия'; превратилась в 'патологическую раздражительность', и никакой анализ не объяснил этот диагноз.
Они сделали банальный вывод:
-- Это компенсирует два предыдущих года. В конце концов, ваш ребёнок успокоится.
«Если я его раньше не выброшу в окошко» -- думала отчаявшаяся мать.


А затем из другой части света прибыла в гости бабушка, которой чудесным образом удалось успокоить бесноватую, скормив ей плитку бельгийского шоколаду.

Мои ошеломлённые родители увидели бабушку, несущую довольного и послушного ребёнка.

-- Представляю вам мою лучшую подругу, -- с триумфом произнесла она.
Я милостиво позволила передавать себя с рук на руки. Мои отец и мать не могли дать себе отчёта в этом превращении: они были одновременно счастливы и слегка обижены. Они забросали бабушку вопросами.

Та не стала рассказывать о секретном оружии, к которому она прибегла и позволила витать над этим тайне. Её заподозрили в колдовских чарах. Никто не мог предвидеть, что зверь запомнит изгнание злого духа.

Пчелы знают, что только мёд даёт личинкам вкус к жизни. Они бы не дали миру столько рьяных медоваров, если бы кормили их пюре с кусочками мяса. Моя мать имела свои теории насчёт сахара, который считала причиной всех бед человечества. И, однако, именно «белому яду» (как она его называла) она была обязана своим ребёнком с приемлемым отныне поведением."

Помнит Нотомб и свои первые слова.

Проблема речи была в выборе: что выбрать первым? Я могла бы выбрать такое необходимое слово, как «засахаренный каштан» или «пипи», или же такое красивое название, как «шина» или «скотч», но этим можно было задеть чувства других. Взрослые -- натуры обидчивые: им необходимо все классическое для осознания собственной значимости. А я не хотела, чтобы мне делали замечания.

И вот однажды, приняв блаженно-торжественный вид, я в первый раз произнесла то, что было у меня в голове:
— Мама!
Материнский экстаз.
А поскольку нельзя было никого обижать, я поспешила добавить:
— Папа!
   Умиление отца. Родители накинулись на меня и покрыли поцелуями. Я подумала, что управляться с ними не так уж сложно.

Они были бы менее восхищены и обрадованы, если бы я сказала: «Для кого эти змеи, что шипят на ваших головах?», или E=mc2. Можно было подумать, что они сомневались в собственной личности: они не были уверены в том, что они «папа» и «мама»? Наверное, им было нужно, чтобы я это подтвердила.
Я поздравила себя с выбором: зачем идти по сложному пути, если можно выбрать простой? Никакое другое слово не могло бы настолько удовлетворить моих родителей. Теперь, когда я выполнила свой долг вежливости, я могла посвятить себя искусству и философии: выбор третьего слова был более привлекателен, поскольку теперь мне приходилось учитывать только качественные критерии. Эта свобода опьяняла настолько, что я была в затруднении: я потратила уйму времени, чтобы произнести своё третье слово. Мои родители были только польщены этим: «Ей нужно было только назвать нас. Это важнее всего».

Они не знали, что про себя я разговаривала уже давно. Но правда в том, что произнести слова вслух это совсем другое, это придаёт произнесённому слову исключительную значимость. Чувствуешь, что слово взволновано, что оно чувствует признательность за то, что ему платят долг, и что его чествуют. Произнести слово «банан», значит воздать бананам должное на века.
Ещё одна тема для размышления. Я входила в фазу интеллектуальных исканий, которые длились неделями. На фотографиях того времени у меня такой серьёзный вид, что это выглядит комично. Во мне всегда звучал внутренний монолог: «Обувь? Нет, она не так важна, можно ходить и босиком. Бумага? Да, но она также необходима, как карандаш. Невозможно выбрать между бумагой и карандашом. Шоколад? Нет, это мой секрет. Морской лев? Морской лев это великолепно, он так здорово кричит, но разве он лучше юлы? Юла очень красива. Что лучше, живой морской лев или крутящаяся юла? В сомнении воздерживаюсь. Губная гармошка? Она здорово звучит, но так ли она необходима? Очки? Нет, это смешно и совершенно бесполезно. Ксилофон?..»

Однажды моя мать принесла в гостиную зверя с длинной шеей, чей длинный тонкий хвост заканчивался в электрической розетке. Она нажала кнопку, и зверь жалобно беспрерывно завыл. Его голова начала двигаться по полу туда-сюда, таща за собой материнскую руку. Иногда его тело двигалось вперёд на ножках-колёсиках.

Я видела пылесос не впервые, но я ещё не размышляла о том, для чего он нужен. Теперь я подползла на четвереньках, чтобы быть одного роста с ним; я знала, что всегда надо быть на одной высоте с тем, что осматриваешь. Двигаясь вслед за его головой, я ложилась щекой на ковёр, наблюдая за тем, что происходит. Это было чудо: аппарат заглатывал материальную реальность, которую встречал и превращал её в небытие.

Он заменял что-то ничем: такое под силу только Богу.

У меня было смутное воспоминание о том, что я была Богом не так давно. Иногда в моей голове раздавался громкий голос, который погружал меня в кромешную тьму и говорил: «Вспомни! Это я живу в тебе! Вспомни!» Не знаю точно, что я об этом думала, но тогда моя божественность казалась мне более вероятной и более приятной.

Внезапно, я встретила брата: пылесос. Что могло быть более божественным, чем это чистое и простое уничтожение? Напрасно я думала, что Богу нечего доказывать, мне захотелось научится творить подобные чудеса, выполнить столь же метафизическую задачу.

«Anch'io sono pittore!» (я тоже художник) воскликнул Караваджо, увидев картины Рафаэля. Я могла бы так же уверенно крикнуть: «Я тоже пылесос!»

В последнюю секунду я вспомнила, что нужно было быть осторожной с моими достижениями: все думали, что я владею двумя словами, и я не хотела дискредитировать себя, выдавая целые фразы. Но у меня уже было третье слово.

Я решила больше не ждать, открыла рот и выкрикнула три слога: пылесос!

Мать тут же бросила трубу пылесоса и побежала звонить отцу: Она сказала третье слово! Какое? Пылесос. Хорошо. Из неё получится прекрасная хозяйка.

Рассматривая внутренности "пространственно-временного червя" можно будет отчетливо рассмотреть и тарелку горячей каши, и плитку шоколада и пылесос. Вот только не знаю, много ли от этого будет исследователям проку. Что, опять-таки, не делает Speechome бесполезным проектом и не отменяет поучительности инструментов вроде TotalRecall и красоты генерируемых ими изображений.

Для ознакомления с творчеством популярных в Сети медиахудожников, сделавших разного рода "пространственно-временных червей" своими визитными карточками, посетите каталог http://www.flong.com/texts/lists/slit_scan/

Прежде чем дать их работам более аналитическое описание, заметим, что вне зависимости от того, как именуют избранный ими творческий метод сами авторы ("streak photography", "slit-scan video", "time warping" и т.п.), они предлагают вниманию зрителей картинки, составленные из полученных в разные моменты времени фрагментов (напр., вертикально либо горизонтально ориентированных полос). Обобщающего названия для такого рода картинок я найти не смог, поэтому пришлось изобрести его самому: ПВК (Пространственно-Временные Картинки). Не нравится? Мне тоже. Придумайте лучше.

Историческое отступление

Ранним примером ПВК может служить известный человечеству с 1932 г. спортивный фотофиниш. Он представляет собой изображение, составленное из множества вертикальных полосок, отражающих последовательность событий на финишной линии.

Для новой истории ПВК самым влиятельным проектом, безусловно, является психоделический фильм "Четвертое измерение", созданный оскароносным мультипликатором Збигневом Рыбчинским (Zbigniew Rybczynski) в 1988 году.

К превеликому сожалению, мне не удалось найти легального и бесплатного способа его просмотра, так что придется вам довольствоваться моим словесным описанием.

Прежде всего необходимо отметить, что фильм этот прекрасен, и что создатель его -- голова! Хорошее представление о происходящем на экране можно получить, оживив в своем воображении классическую фотографию Робера Дуано (Robert Doisneau):
О проекте Human Speechome и видеоарте

Сделана она в 1950-х гг. с помощью вращающейся подставки для объекта и искусственного замедления щелевого затвора: за то время, пока щель преодолела высоту негатива, подставка с застывшей в танцевальном па парой успела сделать почти полный оборот.

При использовании этой техники и ее разновидностей время экспонирования каждого кадра исчисляется несколькими секундами, что делает ее неприменимой для получения киноизображения, фиксируемого в темпе 24fps. Поэтому Рыбчинский пошел другим путем. Получив исходный материал с помощью обычной 35-мм кинокамеры, он разбил каждый из 50 тысяч кадров на 480 горизонтальных полос и перетасовал их по следующему рецепту:

- В качестве 1-й полосы финального i-го кадра использовать 1-ю полосу i-го исходного кадра ,
- В качестве 2-й полосы финального i-го кадра использовать 2-ю полосу i+1-го исходного кадра ,
...
- В качестве 480-й полосы финального i-го кадра использовать 480-ю полосу i+479-го исходного кадра.

Таким образом, каждый финальный кадр охватил 20-секундный интервал реального времени (480 кадров/24FPS = 20 сек.).

Мне не удалось выяснить, каким образом Рыбчинский реализовал эту процедуру. Но можно предположить, что он использовал нечто вроде щелевого сканера ("slit scanner"), разработанного Д. Трумбуллом (D. Trumbull) в ходе съемок культовой "Космической Одиссеи 2001" (С. Кубрик,  1968 г.). Этот устанавливаемый в затемненном помещении сканер представлял собой громоздкую конструкцию из кинокамеры, перемещающейся на станине относительно щелевой маски, в свою очередь перемещающейся относительно подложки с изображением, нанесенным на прозрачный материал и подсвечиваемым изнутри. В результате получались такие кадры:
О проекте Human Speechome и видеоарте

Их анимирование достигалось путем сдвига сканируемого изображения от кадра к кадру относительно подложки. Не поняли? Ничего страшного, я тоже долго разбирался:) Впрочем тут достаточно уловить общую идею.

С помощью щелевого сканера был получен "засасывающий" видеоряд последних десяти минут "Одиссеи", когда место действия фильма окончательно растворяется в космическом запредельи. Если ныне это зрелище главным образом поражает своей анахнонистичностью (резко контрастируя с прочими спецэффектами, оно заставляет недоумевать: "откуда этому было взяться в до-CGI времена?"), то неискушенные зрители 1968 года были ошеломлены и глядели на экран как бандерлоги на Каа.

Спустя сорок лет после премьеры "Одиссеи" Грег Эрколано (Greg Ercolano) вошел в анналы истории ПВК с помощью составленной им несложной программы, обратившей процесс щелевого сканирования вспять и позволившей увидеть, какие изображения скармливал Трумбулл своему сканеру. Они оказались примерно такими:
О проекте Human Speechome и видеоарте

Несмотря на то, что после "Одиссеи" щелевой сканер приобрел в индустрии киноспецэффектов культовый статус, на практике он использовался буквально считанные разы ибо работа с ним требовала исключительно кропотливого труда и больших бюджетов.

Вернемся, однако, к Рыбчинскому, чей щелевой сканер был устроен существенно сложнее вышеописанного: вместо подложки со статичным изображением в нем использовался экран для проецирования исходных кадров. Вероятнее всего, эксперименты с этим шедевром оптомеханики напоминали своей непринужденностью процесс программирования цифрового вычислителя Бэббиджа. Каким же образом удалось снять экспериментальный фильм, который продолжительностью в разы превосходил финал "Одиссеи", а бюджетом, вероятно, уступал ему на пару порядков? По-видимому, Рыбчинский смог основательно автоматизировать работу своей машинерии, и не исключено, что ключевую роль в этом сыграли ставшие общедоступными к 1988 году ПК.

Прошу не думать, будто всю эту шаткую пирамиду предположений я ввел в историческое отступление только затем, чтобы подтащить за уши ПК к "Четвертому измерению" и тем самым оправдать обсуждение Кубрика, Рыбчинского и прочих моих не имеющих отношения к IT личных кумиров на сайте КО. Настоящая цель этой рубрики состоит в том, чтобы проиллюстрировать два тезиса:

1. интерес к ПВК (в отличие, скажем, от интереса к морфингу) возник задолго до появления компьютеров, способных работать с оцифрованным видео и низведших связанные с перетасовкой строк и столбцов проблемы до тривиальной процедуры обмена местами двух байтов;

2. интерес этот имеет не только почтенный возраст, но и высокую интенсивность, свидетельством чему -- бессчетное количество инвестированных человеко-часов.

Вот еще пример: один из выдающихся немецких энтузиастов ПВК Мартин Райнхарт (Martin Reinhart) начал эксперименты по составлению фильмов из нестандартным образом перетасованных полосок с использования ножниц, бумаги и клея. В 1995 г. эти занятия привели его к созданию устройства под названием tx-transformator (под t и x здесь, конечно, имеются ввиду обозначения осей времени и пространства).
О проекте Human Speechome и видеоарте
Это устройство, работающее под управлением ПК, состоит из позиционируемой с помощью шагового двигателя кинокамеры и монитора, используемого для проигрывания подлежащего tx-трансформации зацикленного 10-секундного видеофрагмента. Полученные с его помощью результаты обошли множество выставок современного искусства (а по мнению устроителей постоянно действующей экспозиции английского национального музея фотографии, кино и телевидения, мировая история кино началась с братьев Люмьер и окончилась tx-трансформацией).

Сегодня Райнхарт, конечно, бросил возиться с железками и пересел за экран компьютера. И даже оформил патент на использование ПО для tx-трансформации. Вот кадр из его фильма "tx-transform":
О проекте Human Speechome и видеоарте
Поссорились или помирились? Смотря с какой стороны посмотреть... т.е., смотря в какую сторону направлена ось времени. А впрочем, так ли это важно, если инверсия временной оси эквивалентна всего лишь зеркальному отражению этого изображения? Порядок чередования событий -- не всегда так важен, как нам кажется (в особенности, если они не связаны причинно-следственной связью). Много ли разницы останется после tx-трансформации меж фильмами, имеющими счастливые и печальные финалы? К примеру, меж "Титаником" и "Войной миров".

Сайт Райнхарта (http://www.tx-transform.com) тоже располагает, так сказать, к отвлеченным рассуждениям. Не могу не процитировать один из особенно цветистых фрагментов:

Вообразите, что туманной ночью два бандита застрелили охранника, путешествовавшего в последнем вагоне, а также паровозного машиниста, исполнявшего свои обязанности в локомотиве. В обоих случаях бандиты стреляли в упор. Один из свидетелей -- пассажир, находившийся в среднем купе среднего вагона. Он утверждает, что убийства произошли одновременно, поскольку для него два звука выстрелов слились в один. Однако станционный смотритель, находившийся в точности между бандитами, когда мимо него проходил поезд, уверяет, что выстрел, убивший охранника, прозвучал раньше. Австралийская миллионерша, приходящаяся тетушкой машинисту и охраннику, завещала свое состояние семье того из племянников, который погибнет раньше. Поскольку установление последовательности смертей оказывается связанным с большими суммами, дело доходит до Палаты Лордов, и юристы, получившие образование в Оксфорде, приходят к выводу о том, что один из свидетелей лжет. В действительности же, каждый из них, возможно, говорит святую правду. Дело в том, что поезд движется от места гибели охранника в направлении места гибели машиниста, и поэтому прежде, чем достичь ушей пассажира, звукам выстрелов потребовалось преодолеть разные расстояния. Вот почему он воспринял последовательность событий иначе, чем станционный смотритель.

(Бертран Рассел, "Азбука теории относительности")


Придуманный Расселом сюжет призван показать, что в мире существует не одна, а бесчисленное множество равноправных систем отсчета, каждая из которых может претендовать на корректность выполняемых в ее рамках измерений.

Хотя детективного рассказа из этого сюжета не скроить, он помогает увидеть мир в необычной перспективе. Обратите внимание, что история двойного убийства преподносится нам не с двух, а с трех точек зрения: с точки зрения пассажира, с точки зрения станционного смотрителя а также с точки зрения комментатора, меняющего в своих рассуждениях время и пространство местами.

Предпринятое Расселом "tx-преобразование" осуществимо не только в форме текста, но в виде фильма, в котором последовательной природе повествования ставится в соответствие очередность изображаемых объектов. Вообразите кинозарисовку в жанре хоррор, посвященную поездам, времени и пространству. В ней зрители увидят несущийся в ночную мглу паровоз и двух сраженных пулями жертв с уникальной вневременной точки зрения [...]

Конечно, утверждение Райнхарта о том, будто tx-трансформация "основана на принципах теории относительности" -- это не более, чем художественное преувеличение. Было бы корректнее сказать, что созерцание ПВК является напоминанием о том, что, согласно теории относительности, время и пространство находятся в гораздо более тесной связи, нежели это можно заключить из обыденного опыта.

procedure swap(var a,b: byte)

Сегодня эффект Рыбчинского доступен как никогда. Обладатели профессиональных программ для нелинейного монтажа могут воспроизвести его, использовав параметризованный градиентной растяжкой фильтр time displacement, а те, у кого его таких программ нет, вольны применить следующую комбинацию бесплатного ПО: VirtualDub + AviSynth + SlitScan. Именно таким образом был получен волшебный психоделический клип "dancing on the timeline".

Более того, с помощью веб-камеры и несложной программы на Processing (это -- ява-подобый язык и среда разработки, полюбившиеся склонными к программированию художникам и видеоартистам) можно получать ПВК наподобие таких в реальном времени.

Если неохота возиться с Processing, то можно использовать одно из по меньшей мере двух flash-приложений:
http://caseypugh.com/slitscan
http://www.megidish.net/2007/11/18/time-displacement-release-v10/

Вот ролики, дающие представление о том, как эти приложения выглядят в работе:
http://vimeo.com/438009
http://www.youtube.com/watch?v=BzbAvx1imXM

Создана даже программа для получения ПВК за счет использования ресурсов GPU!

ПВК -- это очень просто

Что общего у статичных и неподвижных ПВК из вертикальных и горизонтальных полосок и чем они отличаются? Имеет ли смысл составлять ПВК из чего-либо кроме полосок? Настало время разом покончить со всеми этими вопросами, благо это можно сделать с помощью следующей наглядной метафоры.

Представьте результаты съемки на цифровую видеокамеру в виде xyt-параллелепипеда, представляющего собой трехмерный массив, ограниченный по горизонтали и вертикали размером фоточувствительной матрицы (составляющим X*Y пикселей), а по глубине -- продолжительностью съемки (T кадров). Для удобства назовем те из параллельных осям 0x и 0y плоскостей, в которых лежат начальный и конечный кадры фильма, фронтальной и тыльной гранями xyt-параллелепипеда (они отмечены красным и синим цветами).

Представьте теперь, что каждый из пикселов дисплея, используемого для визуализации исходных данных, связан с виртуальным зондом, движущимся внутри xyt-параллелепипеда по некоторой траектории (или покоящимся в некоторой точке). Связь проявляется в том, что в любой момент времени цвет пиксела на дисплее заимствуется из места пребывания зонда.

Сформировав из зондов прямоугольник X*Y (на приведенном ниже рисунке он показан желтым цветом) и отправив их параллельными курсами в направлении оси 0t со скоростью 25 кадров в секунду, мы, очевидно, увидим на экране традиционное видео.
О проекте Human Speechome и видеоарте
Что если зонды будут двигаться от фронтальной к тыльной грани не прямым, а одним из косых фронтов, как показано ниже?
О проекте Human Speechome и видеоарте
Если с опережением будут двигаться фланговые ряды зондов, мы получим эффект, демонстрируемый клипом "Dancing in the Timeline".

Если же с опережением будут двигаться верхние или нижние ряды, мы получим эффект, демонстрируемый фильмом Рыбчинского.

До сих пор мы ограничивались рассмотрением только таких формаций зондов, проекции которых на фронтальную грань xyt-параллелепипеда полностью с нею совпадали (т.е. координаты xy каждого зонда всегда соответствуют положению связанного с ним пиксела). Это до некоторой степени предохраняет объекты сцены от видоизменения до неузнаваемости и гарантирует их изображение в привычных местах экрана (солнце остается сверху, трава -- снизу и т.д.). Однако принципиального характера это ограничение не имеет, и сейчас мы от него откажемся.

Составив зонды в прямоугольник T*Y, перпендикулярный фронтальной грани (см. левый из нижеприведенных рисунков) и заставив их замереть, мы получим фотофиниш. Отправив зонды параллельными курсами в направлении оси 0x, получим "анимированный фотофиниш", -- т.е., фильм в стиле tx-transform. Он примечателен, прежде всего, волшебным исчезновением неподвижных объектов, превращающихся в горизонтальные полосы.

Вертикальное перемещение прямоугольника T*Х (см. правый из нижеприведенных рисунков) дает ty-трансформацию, как правило, порождающую еще более радикально-абстракционистские образы. Довольно эффектный результатов можно достичь, снимая объекты, вращающиеся вокруг вертикальной оси.
О проекте Human Speechome и видеоарте

Взгляните на xyt-параллелепипед, вместивший мои впечатления от посещения выставки писанок
О проекте Human Speechome и видеоарте

...и сравните три различных способа визуализации его содержимого:
- оригинальный ролик
- tx-трансформация
- ty-трансформация

Возможно я предвзят, но второй ролик мне нравится больше других. Видимо он лучше соотносится с тем "форматом", в котором моя память хранит воспоминания о выставке?

А вот результаты экспериментов с синтезированным изображением (условное название проекта -- "ПВК для чайников":):

О проекте Human Speechome и видеоарте

О проекте Human Speechome и видеоарте
Заметим, что во всех рассмотренных нами до сих пор случаях множество зондов в ходе движения заметает весь объем XYT. Иными словами, речь шла о преобразованиях обратимых и к потерям не приводящих: в их результате зритель рано или поздно видит всё, что находилось в поле зрения камеры в ходе съемок. Однако в тех случаях, когда крупицы осмысленной информации приходится отсеивать от тонн порожней руды (как в проекте Speechome), требованием обратимости можно и должно пренебречь. Компактная формация зондов может вбуравливаться в объем xyt-параллелепипеда подобно горнопроходческой машине. Уменьшение и увеличение размеров формации дает возможность, соответственно, укрупнять и умельчать масштаб визуализации.

О том, что формация зондов вовсе необязательно должна быть прямоугольной, знают все, кому приходилось разбираться с функциями типа time displacement, встроенными в пакеты нелинейного монтажа. Рассмотрев эту функцию через призму нашей метафоры, легко понять, что она эквивалентна зондированию xyt-параллелепипеда формаций, имеющей вид рельефной поверхности, реконструированной по произвольному изображению, как по топографической карте. Авторы интерактивной инсталляции Video Cubism предлагают публике изучать содержимое xyt-параллелепипеда с помощью сферической формации зондов.

Вообще говоря, формации могут быть любыми, вплоть до самых причудливых. Каждый зонд может повиноваться воле пользователя, вооруженного неким гипотетическим интерфейсом (вроде того, о котором я рассуждал в одном из предыдущих постов) или некоему искусственному стадному интеллекту, который заставлял бы их устремляться к наиболее интересным областям xyt-параллелепипеда подобно рою насекомых.

Что больше, метр или час?

Мы привыкли считать пространственные и временные отрезки категориями, не подлежащими сравниванию ни при каких обстоятельствах. Однако язык в своей неизъясненной мудрости такие сравнения допускает, -- причем, как в синтаксическом ("от забора до обеда"), так и в орфографическом смыслах ("секунда" = 1/3600 градуса и часа).

Любопытным побочным эффектом экспериментирования с xyt-параллелепипедами является стирание границ в восприятии временных и пространственных категорий до степени, легко позволяющей проводить между ними количественные сравнения. Я, к примеру, не раз приходил к следующему кощунственному с точки зрения законов соблюдения физической размерности выводу: "пространственное разрешение моей камеры во много раз выше временного". К такому выводу может привести, к примеру, созерцание сплющенной в N раз человеческой фигуры на фотофинишном изображении. Легко понять, что привести ее к нормальным пропорциям можно двумя способами:
- изображение можно сплющить в N раз также и по вертикали, выбросив "лишние" строки (и тем самым окончательно превратив интересующую вас фигуру в пикселизованную кашу);
- изображение можно растянуть в N раз по горизонтали, введя в него недостающие столбцы, которые можно получить, пересняв сцену скоростной камерой.

Конечно, пространственно-временной дисбаланс (1920 столбцов это в 64 раза больше чем 30fps!) в конструкции обычных видеокамер, является отражением особенностей человеческого восприятия, фиксирующего образы реальности с высочайшим пространственным, но с весьма умеренным временным разрешением. Однако эксперименты с xyt-параллелепипедами дают нам возможность воспринимать с одинаково высоким разрешением не только объекты, существующие в пространстве, но и явления разворачивающиеся во времени, и поэтому для них желательно использовать камеры вроде тех, что делает Casio.

Собственно говоря, на месте маркетологов Casio я бы всемерно содействовал популяризации таких экспериментов (например, устроил бы раздачу бесплатного ПО для занятия ими и вывесил бы этот мой пост в переводе на все языки мира на своем сайте). До тех пор, пока этого не произошло, энтузиастам ПВК, которых угораздило купить камеру неправильной марки, придется писать ПО самостоятельно, а при подборе съемочной натуры ограничиваться вращением писанок на подставке, отдаленными пейзажами, плавно развертывающимися за окном поезда и прочими не столь часто встречающимися видеосюжетами, в которых живописность сочетается с неторопливостью.

UPD: В Сети нашлось "Четвертое измерение".