`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Тимур Ягофаров

ИИ повышает реалистичность видео в реальном времени

+35
голосов

Nvidia в рамках участия в конференции  SIGGRAPH 2021 поделилась своими достижениями в области технологии трассировки лучей, где была использована технология искусственного интеллекта.

Оглядываясь на историю развития компьютерной графики, с одной стороны, понимаешь насколько большой пройден путь, чтобы приблизить компьютерный мир к реальности. Чего только стоят демонстрируемые нам в блокбастерах фантастические сцены. А с другой, мы видим, что до сих пор у компьютерной графики имеются пределы возможностей, поэтому в сложных с точки зрения освещения сценах она не в состоянии сравниться с реальностью. Тем интереснее узнавать про очередные достижения разработчиков. Вот и на этот раз приятно удивили представители Nvidia Research, которые показали на SIGGRAPH 2021 удивляющие своей реалистичностью сцены компьютерной графики.
ИИ повышает реалистичность видео в реальном времени

Сегодня для получения максимальной реалистичности используют метод трассировки лучей. И последнее поколение процессоров Nvidia RTX уже умеет работать с ним в реальном времени, притом что трассировка пути требует огромных вычислительных ресурсов. Тем не менее, по-прежнему существуют ситуации, когда создание высококачественных визуализированных изображений остается сложной задачей. Примером может служить продемонстрированная  Nvidia Research сцена, где тигр идет по берегу водоема на фоне леса.

Сам тигр одновременно освещен солнечным светом и затенен деревьями. Когда он идет через лес, его отражение видно в пруду внизу. Для такого рода насыщенных изображений как с прямыми, так и с вторичными отражениями может потребоваться вычисление тысяч путей для каждого пикселя сцены.

Эта задача слишком ресурсоемкая для решения в реальном времени. Поэтому группа исследователей Nvidia создала алгоритм выборки, который отбирает прямые пути и отражения, больше всего влияющие на финальное изображение, и визуализирует изображения в более чем сто раз быстрее, чем было возможно ранее.

В сцене с лесом пятна солнечного света просачиваются сквозь листья на деревьях, и молекулы воды, взвешенные в туманном воздухе, превращают их в дымку. Рендеринг реалистичных изображений облаков, пыльных поверхностей или тумана в реальном времени раньше был невозможен. Но исследователи Nvidia разработали методы, которые в 10 раз эффективнее вычисляют визуальный эффект этих явлений.   

Другая группа исследователей Nvidia совершила прорыв в области глобального освещения с помощью новой техники под названием нейронное кэширование излучения. В этом методе используются RT-ядра Nvidia для трассировки лучей и тензорные ядра для ускорения ИИ для обучения крошечной нейронной сети в реальном времени при рендеринге динамической сцены.

Нейронная сеть изучает, как свет распределяется по сцене. Она обрабатывает более миллиарда запросов глобального освещения в секунду на графическом процессоре Nvidia GeForce RTX 3090, отображая густой мех тигра с детализированным освещением, ранее недоступным в режиме реального времени.

Еще один вызов – материалы с высокой геометрической сложностью, которые сложно моделировать с использованием традиционных методов. Например, детали ткани рубашки, ковра или стеблей травы часто намного меньше размера пикселя, что затрудняет их эффективное хранение и визуализацию. Исследователи Nvidia решают эту задачу с помощью алгоритма NeRF-Tex, в котором нейронные сети используются для представления этих сложных материалов и кодирования их реакции на освещение.

Сложные геометрические объекты также различаются по внешнему виду в зависимости от того, насколько они близки к зрителю. Один из примеров – дерево с листьями: в крупном плане видны детали ветвей, листьев и коры. Вдалеке оно покажется просто зеленой каплей.
Было бы пустой тратой времени рисовать детализированную кору и листья на дереве, которое находится на другом конце леса в сцене. Но в крупном плане модель должна быть максимально реалистичной.

Это классическая задача компьютерной графики, известная как уровень детализации. Художники часто сталкиваются с этой проблемой, вручную моделируя разные версии каждого 3D-объекта, чтобы обеспечить эффективный рендеринг. Исследователи Nvidia разработали новый подход, который автоматически генерирует упрощенные модели на основе метода обратного рендеринга. С его помощью можно создавать упрощенные модели, оптимизированные так, чтобы казаться неотличимыми от оригиналов, но с намного меньшей геометрической сложностью.

Наглядно убедиться в выдающихся результатах исследователей можно с помощью видео, которое иллюстрирует все выше сказанное.

Вы можете подписаться на нашу страницу в LinkedIn!

+35
голосов

Напечатать Отправить другу

Читайте также

 
 

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT