| 0 |
|
Современные дисплеи дополненной (AR) и виртуальной (VR) реальности показывают каждому глазу только двухмерные изображения, а не трёхмерные или голографические, которые мы видим в реальном мире.
«Они нереалистичны с точки зрения восприятия», — объяснил Гордон Ветцштейн (Gordon Wetzstein), доцент электротехники и руководитель Стэнфордской лаборатории компьютерной визуализации (Stanford Computational Imaging Lab). В стремлении к лучшим дисплеям Ветцштейн и его коллеги объединили свои знания в области оптики и искусственного интеллекта, чтобы преодолеть разрыв между симуляцией и реальностью.
В исследовании, опубликованном 12 ноября в журнале Science Advances, подробно описан метод уменьшения спеклового искажения, часто наблюдаемого на обычных лазерных голографических дисплеях, а в статье, которая будет представлена на выставке SIGGRAPH ASIA 2021 в декабре, предлагается метод реализации физики 3D-сцены, как если бы та существовала в реальном мире.
Предложенная ими модель CITL (Camera In The Loop) на этапе тренировки оценивает ошибку между целевым изображением и физически наблюдаемой (с помощью камеры) синтезированной голограммой. После оптимизации прокси-модели её можно напрямую использовать для синтеза новых голограмм изображений, которые не включены в набор обучающих данных, и уже без необходимости использования камеры.
Стэнфордская группа также разработала архитектуру нейронной сети HoloNet, которая с помощью предварительно натренированной модели CITL обучена генерировать полноцветные высококачественные голографические изображения с разрешением 1080p в реальном времени. Эта сеть принимает в качестве входных данных изображение sRGB, которое сначала преобразуется в значения амплитуды, а затем передаётся в подсеть генератора целевой фазы, которая прогнозирует фазу на целевой плоскости.
В статье для SIGGRAPH Asia рассказывается о первом опыте применения стэнфордской лабораторией своей системы нейронной голографии, которая с использованием частично когерентных светодиодных источников обеспечивала высококачественное, реалистичное представление сцен, содержащих визуальную глубину.
Ветцштейн и его сотрудники полагают, что такое сочетание новых методов ИИ с виртуальной и дополненной реальностью в ближайшие годы станет всё более распространенным явлением во многих отраслях.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| 0 |
|
