Nvidia оголошує про проривні розробки АІ для комп’ютерної графіки

Дослідники з Nvidia анонсували низку інновацій, спрямованих на те, щоб допомогти розробникам і художникам поєднати штучний інтелект з програмним забезпеченням для комп’ютерної графіки.

 

Компанія заявляє, що випустить щонайменше 18 нових дослідницьких робіт, які детально описують свої інновації на SIGGRAPH 2023, щорічній конференції з комп’ютерної графіки, яка пройде з 6 по 10 серпня. Доповіді, підготовлені у співпраці з дослідниками з десятків університетів США, Європи та Ізраїлю, охоплюють генеративні моделі АІ, які перетворюють текст на зображення, інструменти інверсного рендерингу, які можуть створювати 3D-версії нерухомих зображень, фізичні моделі, які використовують АІ для імітації складних 3D-елементів, і багато іншого.

 

У блозі Nvidia йдеться про те, що творці вже мають доступ до різних генеративних моделей АІ, які можуть перетворювати текст на зображення. Але існуючі інструменти не можуть створити необхідний рівень специфічності, тому дослідники компанії розробили технологію, яка дозволяє генеративним моделям використовувати єдине зображення-приклад, щоб налаштувати свої результати у дуже специфічний спосіб. Друга методика описує дуже компактну модель під назвою Perfusion, яка дозволяє користувачам поєднувати кілька персоналізованих елементів з кількома концептуальними зображеннями і створювати більш специфічні візуальні ефекти, згенеровані АІ.

 

В іншому дослідженні дослідники Nvidia зосередилися на прискоренні трудомісткого процесу рендерингу 2D-зображень у 3D-середовище.

 

Третя дослідницька робота присвячена новій технології, яка, за словами Nvidia, здатна працювати на звичайному ноутбуці і генерувати фотореалістичну 3D модель голови і плечей з одного 2D портрета. За словами компанії, це великий прорив, який значно прискорить створення 3D аватарів, що матиме велике значення для відеоконференцій та додатків віртуальної реальності.

 

В рамках іншої ініціативи Nvidia співпрацювала з дослідниками Стенфордського університету, щоб додати реалістичності руху 3D-персонажам. Наприклад, користувачі можуть сканувати модель відео з тенісних матчів, а потім перенести ці реалістичні рухи на 3D-персонажа, що грає в теніс. За словами Nvidia, змодельований гравець може грати в тривалі ралі з іншими персонажами. Унікальність моделі полягає в тому, що вона здатна вирішити проблему створення 3D персонажів з різноманітними навичками та реалістичними рухами, не вимагаючи дорогих відеоданих для захоплення рухів.

 

Nvidia також застосувала свої розробки до нейронного рендерингу - техніки, яка імітує фізику відбиття світла у віртуальній сцені. Дослідження Nvidia демонструє, як моделі АІ для текстур, матеріалів та об’ємів можуть бути використані для створення фотореалістичних зображень об’єктів кінематографічної якості в режимі реального часу для відеоігор та віртуальних світів.