`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

"Розовые очки" Сазерленда, или Новая реальность

+11
голос

Фундамент

Что же такое Augmented Reality (AR)? Наиболее точный перевод термина звучит приблизительно как "дополненная реальность". Пример из области кинематографа -- кадры, снятые с точки зрения робота в фильме "Терминатор". Прямо на изображении, получаемом с глаз-камер, выводятся данные о наблюдаемых объектах вроде: "полицейский, вес такой-то, рост такой-то".

"Розовые очки" Сазерленда, или Новая реальностьОтображение актуальной дополнительной информации поверх видео можно наблюдать, в частности, во время трансляции спортивных соревнований. Сегодня поклонники "Формулы 1" видят на экране не только движущиеся по кольцу болиды, но и сведения о гонщике, командной принадлежности, положении относительно автомобилей важнейших соперников, а иногда даже графики, отражающие количество оборотов двигателя.

Помимо массмедиа и центров развлечений, одними из первых потребителей систем дополненной реальности станут, естественно, военные, возможно, строители, инженеры и медики. Не исключено, что после массового внедрения технология пригодится буквально каждому. Например, с ее помощью туристы будут ориентироваться в музеях и чужих городах.

Три основные составляющие персональной системы дополненной реальности -- носимый компьютер, средства позиционирования и отображения. До недавнего времени главным препятствием для практического внедрения была неспособность мобильных ПК обсчитывать трехмерную графику. Это уже в прошлом. Сегодня акцент сместился на разработку адекватных методов позиционирования и отображения.

Начнем с проблем позиционирования. Должен сразу разочаровать -- один GPS в поле не воин. Ведь идея дополнения реальности заключается в получении правильной информации в правильном месте. "Классический" датчик GPS дает минимальную погрешность от 10 до 30 м. Учитывая то, что подписи на дисплее должны совмещаться с изображением реальных объектов, такая ошибка делает затею бессмысленной. Да и в городе GPS зачастую бессилен.

Отображение видеоинформации не менее проблематично. Необходимо совмещать трехмерную графику и реальные объекты, учитывая перемещения человека в пространстве и его позу. До сих пор мобильные дисплеи являются слабым местом любых носимых компьютеров. Недорогие, качественные, легкие и компактные видеоочки по-прежнему относятся к разряду ненаучной фантастики.


Историческая справка

"Розовые очки" Сазерленда, или Новая реальностьТочкой отсчета развития идеи дополненной реальности многие считают эксперимент Айвана Сазерленда, использовавшего еще в 60-х гг. стереоочки Sword of Damocles для показа трехмерной графики. Изображение в них проецировалось на два полупрозрачных стеклянных мини-дисплея с напылением серебра. Любопытное название происходит от способа крепления устройства -- на потолке, что контрастировало с наименованием класса такого рода оборудования: Head-Mounted Display. Впервые система была использована в проекте, выполненном в 1967 г. для Bell Helicopter Company, в котором стереоочки работали в паре с инфракрасной камерой, находящейся под днищем вертолета. Камера управлялась движением головы пилота. Так родилось понятие "дополненной реальности".

Одним из наиболее известных исследователей в этой области сегодня является Рональд Азума (Ronald Azuma) из HRL Laboratories. В 1997 г. он опубликовал большую обзорную статью "A Survey of Augmented Reality", где впервые были ясно очерчены проблемы и возможности, связанные с внедрением этой технологической концепции. С 1999 г. ведет свою историю регулярно проводимая конференция IEEE, ACM and Eurographics International Symposium on Mixed and Augmented Reality (ISMAR). Наиболее успешные и известные организации, специализирующиеся на дополненной реальностью, располагаются в Японии -- Mixed Reality Systems Lab -- и Германии -- консорциум Arvika.


Где эта улица, где этот дом?

Поскольку основной задачей дополненной реальности является синтез реальных и виртуальных объектов в пространстве, то возникает необходимость в предварительной оцифровке данных об окружающем пространстве. Регистрирование геометрических пространственных характеристик небольших помещений сегодня уже стало нормой жизни для широкого круга специалистов. Все оказывается гораздо сложнее, когда речь заходит об открытых пространствах: как взаимно расположены виртуальные и реальные предметы, какой из них находится на первом плане? Работа здесь ведется по двум направлениям: съемка "карты глубин" (depth sensing) в реальном масштабе времени и предварительный сбор информации о местности.

Как научить компьютер ориентированию? Комбинация гироскопа и компаса дает неплохие результаты, а если добавить к ним распознавание изображений заранее известных элементов ландшафта -- точность возрастает до пиксельного уровня. Расхождение измеряется пикселами исключительно из-за особенностей человеческого мозга и зрения, способных выявить малейший промах при размещении виртуальных предметов в реальном пространстве.

"На безрыбье" пользу приносят даже разработки создателей спецэффектов в кино, которые занимаются восстановлением траектории движения камеры с помощью отслеживания перемещений в кадре объектов-маркеров.

Впрочем, пока проблему представляют даже задержки при выполнении обычных алгоритмов ориентирования. Сюда следует добавить латентность механизма рендеринга. Ученые вынужде-ны искать решение в различных двухмерных методах, таких, как искажение и смещение заранее отрендеренных виртуальных объектов, имитирующие движение в плоскости и даже вращение.

Большое положительное и стимулирующие влияние на развитие технологий дополненной реальности оказала система отслеживания положения HiBall. Она была разработана сотрудниками университета Северной Каролины в рамках проекта, финансируемого агентством DARPA. Несмотря на то что система способна работать только с предварительно подготовленными закрытыми помещениями, достигнутая в ходе экспериментов точность и минимальная латентность были рекордными. HiBall с частотой 1500 Hz регистрирует любые линейные перемещения начиная с 0,2 мм и вращения на углы от 0,03°.

Собственно датчик, которым снабжается отслеживаемый предмет или человек, состоит из шести фотодиодов и шести объективов. Каждый сенсор получает изображения со всех объективов, что в сумме дает 26 независимых видов. Фотодиоды фиксируют сигналы от снабженных матрицей светодиодов панелей подвесного потолка.

Основное достоинство системы состоит в ее способности к автоматической калибровке. Ведь иначе установка панелей вылилась бы в утомительную процедуру, требующую прецизионной точности. Чтобы доказать эффективность адаптационных свойств HiBall, исследователи специально вносили погрешности в расположение потолочных панелей. Через 10 минут после начала использования, получив в распоряжение изначальные координаты панелей, система сумела определить их новую конфигурацию.

Все вышеописанные чудеса -- плод напряженной работы над алгоритмом SCAAT (Single Constrain At A Time). Как гласит его название, идея заключается в использовании измерений по мере поступления. Если традиционная система пытается одновременно получить все координаты (x, y, z, j), то SCAAT за один цикл фиксирует лишь одну из них, с каждой итерацией налагая все более точные ограничения на решения уравнения, определяющего зону вероятного расположения датчика в пространстве. Это сводит к минимуму латентность и при достаточно высокой частоте измерений дает хорошую точность. "Секрет фирмы" -- в оригинальном применении математического фильтра Кал-мана (Kalman). Если вы хотите узнать об этом больше, загрузите www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdf и www.cs.unc.edu/~welch/media/pdf/scaat.pdf.

Венцом усилий ученых стала коммерческая эксплуатация системы -- компания 3rdTech продает HiBall-3000 Tracker. Одним из вариантов пользовательского устройства-датчика является трехмерный дигитайзер, которым можно оцифровывать объемные предметы.

Увы, путнику Hi-Ball не подойдет. Ему нужен GPS. Однако на точность измерений влияют не только рельеф и характер местности, но даже атмосферные явления. И тут на помощь приходит Differential GPS.

На местности устанавливают "базовые" станции GPS, которые находятся в тщательно отобранных реперных точках с известными координатами. Задача станции -- по известным координатам вычислить ожидаемую задержку сигнала со всех доступных в данный момент спутников и определить разницу между предполагаемыми и реально полученными значениями. Затем в радиоэфир (обычно на частоте 300 kHz) выдается список спутников с коэффициентами поправок для каждого из них. Мобильному датчику, находящемуся поблизости, остается только принять список, вычленить из него наблюдаемые им в данный момент спутники и скорректировать измеренные значения временных задержек сигналов.

Следующий этап в развитии GPS-позиционирования -- Code-Phase GPS. Обычный датчик GPS использует для определения временных задержек спутникового сигнала кодовую синхронизацию. Спутник ретранслирует постоянно повторяющуюся последовательность кодов. Приемник, получив сигнал, начинает циклически сдвигать свою последовательность до тех пор, пока она не совпадет с принятой. Количество шагов, которые потребовались для кодовой синхронизации, дает представление о временной задержке. Но именно "дает представление": частота следования символов в последовательности ограничена, и точность измерений -- тоже.

Датчики Code-Phase GPS не останавливаются на кодовой синхронизации и, после того как последовательности совпали на цифровом уровне, начинают добиваться совпадения несущих частот внутреннего тактового генератора и спутникового сигнала. Частота передачи спутников GPS равна 1,57 GHz, и если перевести данное значение на язык расстояний, то максимальная точность измерений для фазовой синхронизации составляет около 3 мм.


Как надкусить виртуальное яблоко

Взаимодействие пользователя с системой дополненной реальности требует нестандартных решений. Конечно, никто не отбрасывает обычную клавиатуру и мышь, однако, учитывая мобильную природу технологии, они не являются идеальной парой для видеоочков. В экспериментальных устройствах исследователи пытаются использовать практически весь арсенал методик ввода информации: манипуляторы с шестью степенями свободы, распознавание речи и жестов. Но, как правило, для полноценного взаимодействия с дополненной реальностью приходится комбинировать несколько устройств.

Наибольший интерес вызывают "виртуальные интерфейсы". Кон-цепция поражает своей простотой и оригинальностью. Все в точности, как во время детской игры, когда лыжная палка превращается в меч, а оторванный от детс-кого автомобильчика руль -- в штурвал самолета. Например, человек берет в руки обычную доску, а компьютер "дорисовывает" на ней органы управления: клавиши, переключатели и дисплеи. Такой способ реализован в Studierstube PIP (Personal Interaction Panel).

В другой опытной системе пользователь переставляет виртуальную мебель в виртуальной игрушечной квартире с помощью реальной небольшой лопатки. А в некоторых современных игровых автоматах можно играть в виртуальный теннис специальной теннисной ракеткой.

Восхищает элегантность концепции Magic Book -- реальная книга, страницы которой служат "порталами" в различные виртуальные миры. Когда пользователь, листая альбом, принимает решение "войти" в определенный мир, его аватар появляется на соответствующей странице книг других пользователей системы.


Вне поля зрения

Дисплеи (HMD или HWD, Head-Worn Displays) для дополненной реальности делятся на два основных типа: оптически прозрачные (optical see-through) и видеопрозрачные (video see-through). Первые позволяют человеку видеть сквозь них окружающий мир -- таким образом, зритель наблюдает и сгенерированное изображение, и пространство вокруг себя. Видеопрозрачные очки используют внешнюю видеокамеру для генерирования изображения реальных предметов.

Помимо видеоочков, нашли применение и обыкновенные плоские мобильные и проекционные дисплеи. Последние, в частности, хорошо подходят для использования в транспортных средствах (автомобилях, самолетах) и стационарных системах (краны, пульты управления производственными процессами и т. д.). Наконец, самый необычный вариант предусматривает проецирование изображений непосредственно на предметах окружающего мира, покрытых ретрорефлективным светоотражающим слоем. В данном случае отражение происходит строго по линии падения света, поэтому несколько человек, рассматривающих один предмет с различных точек зрения, не замечают "информацию" соседей. С помощью ретрорефлективного покрытия можно делать предметы прозрачными -- для этого на их поверхности надо отображать расположенное за ними пространство.

К сожалению, оптически прозрачные дисплеи не всегда позволяют исключать/заслонять реальные объекты, да и добиться точного совпадения виртуального и реального мира чрезвычайно сложно. А видеопрозрачные системы, в свою очередь, страдают от расхождения между расположением камер и глаз человека (параллакс) -- картинка получается весьма далекой от той позиции, с которой он привык видеть мир. Кроме того, должна быть решена извечная проблема трехмерных дисплеев -- четкая зависимость между фокусировкой зрачка и межзрачковым расстоянием. В зависимости от удаленности предметов оба эти параметра согласованно меняются, но когда объемные предметы проецируются на равноудаленную от глаз плоскость, связь между ними нарушается, что приводит к сильному дискомфорту. Это ощущение знакомо любому посетителю кинотеатров IMAX 3D.

Сложности технологического характера -- это еще не все. В дополненной реальности возникает реальная угроза "перегруженности кадра" -- угроза слишком большого объема выводимой информации. В поле зрения иногда одновременно попадают сотни значащих объектов. Чтобы облегчить жизнь, пользователю приходится фильтровать сведения и вычленять из них действительно необходимые. Также нельзя допускать наложения виртуальных элементов на важные для пользователя объекты реального мира: к примеру, виртуальные указатели на гостиницы и рестораны, проецируемые на лобовом стекле автомобиля, не должны заслонить собой встречный грузовик или светофор.

Из коммерческих дисплейных продуктов стоит выделить Microvision Nomad, с помощью лазера проецирующий изображение непосредственно на сетчатку глаза. Примерно за 4 тыс. долл. покупатель получает прозрачные очки-дисплей с разрешением 800x600 пикселов и массой около 200 г. Пока Nomad монохромный и выводит графику, используя 32 градации красного цвета. Визуально пользователь взаимодействует с плоскостью отображения, равной площади 17-дюймового монитора на расстоянии вытянутой руки. Фокальную плоскость изображения можно подстраивать от 30 см и до бесконечности. Это снимает напряжение с глаз, поскольку позволяет совместить по глубине виртуальный экран и реальную рабочую поверхность. В паре с дисплеем поставляется ПО и наладонный ПК с процессором XScale 400 MHz под управлением WinCE .Net и адаптером 802.11b.


Проекты

Краткий обзор выполненных проектов начнем, пожалуй, с забавных игровых дополненных реальностей. В игре AV-Board Guards пользователи погружаются в мир оружия и виртуальных монстров, которые, в буквальном смысле этого слова, вторгаются в реальный мир. Надев видеодисплей, вы видите не только монстров, но и других участников игры, одетых в виртуальные шлемы, держащих в руках несуществующее оружие и силовые щиты. Управление производится с помощью жестов: отведя руку назад, игрок перезаряжает пистолет, выбрасывая вперед, выпускает пулю в указанном направлении, а согнув в локте перед собой, генерирует силовой щит.

AV-Boards Guards появилась как результат инвестиций со стороны японского правительства и Canon, создавших лабораторию Mixed Reality Systems Laboratory. Исследователи используют оригинальную методику рендеринга, получившую название Image-Based Rendering (IBR), они даже спроектировали видеоускоритель для ПК, аппаратно реализующий необходимые алгоритмы. Изображение выводится с помощью специально разработанного для проекта видеопрозрачного головного дисплея, у которого нет смещения между точкой зрения встроенных видеокамер и глазами пользователя (параллакс).

Чтобы правильно реализовать эффект "заслонения" виртуальными объектами реальных (даже если последние находятся в движении), японские ученые изобрели "детектор глубины", на лету определяющий расстояние от пользователя до наблюдаемых объектов. Для ориентации внутри игровой зоны применяются магнитные датчики, однако последний проект (Cybercity Walker) потребовал других решений. Предполагается, что в нем главные навигационные роли будут выполнять прецизионные гироскопы и ПО визуальной ориентации по наблюдаемым через видеокамеру элементам внешней среды.

Любопытный проект, который скорее всего получит коммерческое продолжение, -- Touring Machine. Эта система, созданная в 1997 г. и регулярно обновляемая учеными Колумбийского университета, предоставляет туристу дополнительную информацию об окружающих его достопримечательностях и способна визуально реконструировать разрушенные здания. Для фиксации местоположения пользователя применяются дифференциальная GPS и компас. Чтобы определить положение головы человека, авторы Touring Machine прибегли к целому набору датчиков, встроенному в дисплей (два измерителя наклона или inclinometers, и один магнитометр, регистрирующий магнитное поле Земли).

В первой версии системы в качестве интерфейса выступали наладонный ПК Mitsubishi Amity (DX4 75 MHz, 16 MB, 340 MB HDD) с прикрепленным к нему планшетом и носимый оптически прозрачный дисплей Video I/O iglasses. Но основные вычислительные мощности были упрятаны в рюкзаке -- ноутбук, оснащенный процессором Pentium 133 MHz, 64 MB ОЗУ и жестким диском 2 GB. Чтобы снабдить адаптер Trimble DSM GPS данными для дифференциальной коррекции, исследователи обратились к компании Differential Corrections, которая предоставила им необходимый сервис. Информация об окружающем мире хранилась на автономном Web-сервере, установленном на ноутбуке, который генерировал по запросу наладонного компьютера HTML-страницы с затребованной информацией. В своем первоначальном виде система могла лишь отображать подписи к зданиям кампуса и генерировать список расположенных в них факультетов.

Сегодня Touring Machine трансформировалась в MARS или Mobile Augmen-ted Reality System. За отображение дополнительной аудиовизуальной информации об окружающей среде отвечает Mobile Journalist's Work-station -- модификация изначальной системы. Ее пользователь видит расставленные на местности флаги, отмечающие наличие какой-либо информации об объектах. После выбора флага открываются сервисное меню и прочие гипертекстовые ссылки. В роли головного дисплея в данной конфигурации выступало устройство Sony LDI-100B с разрешением 800x600, но исследователи планировали вскоре перейти к стереоварианту LDI-D100B. "Нала-донным терминалом" стал планшет Fujitsu Stylistic 2300 с процессором Pentium MMX 233 MHz. Впоследствии (а все приведенные здесь сведения относятся к 1999 г.) предполагалось перейти к наладонному ПК Casio Cassiopeia E-100 под управлением WinCE. Данные о положении головы пользователя давал прибор Intersense IS-300Pro с инерционным и магнитным датчиками. Географическое позиционирование осуществлялось с помощью кинематического дифференциального GPS-приемника Ashtech GG24 Surveyor, использующего также данные российской системы навигации Glonass.

Вскоре еще одна из вариаций "туристического гида" появилась в Naval Research Lab (NRL). Правда, эта система (Battlefield Augmented Reality System) создавалась исключительно в военных целях -- для оказания информационной поддержки подразделениям, ведущим боевые действия в городских условиях. Она не только дает возможность различить потенциальную опасность (например, увидеть проходные дворы, заранее нанесенные на цифровую карту), но и позволяет пользователям на ходу делать пометки, которые сразу становятся доступны всем участникам боевой операции.

Также представляет интерес международный проект ARCHEOGUIDE, близкий по назначению к Touring Machine (аббревиатуру составляют слова Augmented Reality-based Cultural HEritage On-site GUIDE). Спонсирует разработки Европейский Союз, а во главе альянса -- греческая компания INTRACOM. Система снабжена хорошо развитыми средствами создания мультимедийного контента и его привязки к местности. Для отображения визуальной информации применяется дисплей-бинокль, который пользователь держит в руках. Правда, за плечами у него должен быть рюкзак с ноутбуком, оборудованным адаптером GPS, цифровым компасом и специальным ПО "безметочного" отслеживания предметов в видеоизображении.

Приложив оснащенный миниатюрной видеокамерой бинокль к глазам, турист увидит реконструированные здания и восстановленные памятники, анимационных персонажей (например, жителей древнего города или виртуальных гидов). Для поиска более детальной контекстной информации используется планшетный ПК. Мо-бильные терминалы связаны с центральным сервером посредством беспроводной Wi-Fi-сети. Это позволяет гибко наращивать число одновременно подключенных пользователей.

Упомянутые выше исследования ученых из университета Северной Каролины в области ориентации (знаменитая система HiBall) привели к созданию нового медицинского оборудования для лапараскопических манипуляций, значительно упрощающего различные процедуры. Например, при проведении биопсии врач обычно перемещает иглу для отбора проб из тела пациента, ориентируясь исключительно по плоской картинке на экране ультразвукового сканера. Это весьма рискованная операция, требующая от врача большого практического опыта. На основе данных того же ультразвукового сканера, но обрабатываемых программой класса Augmented Reality, выполняемой на суперкомпьютере, можно получить отображающуюся в реальном времени трехмерную модель фрагмента тела пациента. Прозрачный головной дисплей и система ориентации помогают врачу работать одновременно с полученной моделью и пациентом и существенно снижают степень риска при выполнении данной процедуры. Система была проверена при проведении биопсии молочных желез -- как на манекенах, так и на реальных пациентах.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+11
голос

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT