Зворотний рендеринг перетворює звичайні фото на 3D-моделі

Дослідники Nvidia навчили штучний інтелект генерувати об'ємні моделі предметів на основі їхніх фотографій.

На конференції з комп'ютерного зору та розпізнавання образів, що днями пройшла в Нью-Орлеані (США), компанія Nvidia представила доповідь, присвячену створеній у її дослідницькому підрозділі технології 3D MoMa. Вона дозволяє оперативно імпортувати моделі об'єктів у системи 3D-моделювання, використовуючи принцип зворотного рендерингу.

Як зазначив Девід Любке (David Luebke), віцепрезидент напряму графічних досліджень у Nvidia, зворотний рендеринг, метод перетворення серії нерухомих фотографій у 3D-модель об'єкта чи сцени, «довгий час був священним Граалем, що поєднує комп'ютерний зір та комп'ютерну графіку». «Сформулювавши кожну частину зворотного завдання рендерингу як диференційований компонент з прискоренням на графічному процесорі, конвеєр рендерингу NVIDIA 3D MoMa використовує механізми сучасного ШІ та чисту обчислювальну потужність графічних процесорів NVIDIA для швидкого створення 3D-об'єктів, які можна імпортувати, редагувати та розширювати без обмежень в наявних інструментах», - сказав він.

Сьогодні процес створення моделей реальних об'єктів є вельми трудомістким, тому що для цього доводиться долучити техніки фотограмметрії, що потребують ручних операцій. За повідомленням Nvidia, процес формування 3D-моделі на основі зроблених під різними кутами 120 фотографій зайняв близько години із залученням єдиного NVIDIA Tensor Core GPU. Головне, що результат повністю сумісний з нині наявними інструментами моделювання, якими користуються творці контенту.

Отримуваний за допомогою 3D MoMa результат включає три елементи: побудовану з трикутників мереживу 3D-модель, матеріал та освітлення. Матеріали — це 2D-текстури, які як шкіра накладені на 3D-мережу. А оцінка освітлення сцени за допомогою NVIDIA 3D MoMa дозволяє творцям пізніше змінювати освітлення об'єктів.

Для наочної ілюстрації технології 3D MoMa дослідники створили п'ять моделей музичних інструментів та показали, як їх можна редагувати у додатку об'ємної симуляції Nvidia Omniverse. Наприклад, міняли матеріал труби з миттєвим перетворенням пластику на золото, мармур, дерево або пробку. А у фіналі всі отримані моделі були поміщені у коробку Cornell, що є класичним тестом графіки на якість рендерингу. Таким чином, було продемонстровано, що віртуальні інструменти реагують на світло, так само як і в реальному світі: блискучі мідні інструменти яскраво відбивають світло, а матова оболонка барабанів його поглинає.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365