| 0 |
|
Кожен, хто користувався генераторами зображень на базі штучного інтелекту (як-от ChatGPT чи Google Gemini), стикався з прикрою проблемою: картинка виглядає майже ідеально, але при спробі виправити одну дрібну деталь AI повністю перемальовує інші частини зображення.
Дослідники з Рочестерського університету у співпраці з фахівцями компанії NVIDIA знайшли розв'язання цієї проблеми, створивши нову архітектуру дифузійних моделей, що працює безпосередньо в просторі пікселів.
Більшість сучасних генеративних моделей використовують дифузію в прихованому просторі (latent space). Вони стискають концепції (наприклад, кота чи автомобілю) до їхніх основних математичних характеристик, що дозволяє швидко створювати картини. Проте такий підхід позбавляє користувача точного контролю.
«Використання прихованого простору допомагає скоротити обчислення, але проблема в тому, що ви втрачаєте керованість, оскільки не коригуєте окремі пікселі. У результаті ви не можете легко контролювати конкретні частини згенерованих зображень», - зазначив Цзєбо Ло (Jiebo Luo), професор інженерії Рочестерського університету.
Аби повернути точність редагування, лабораторія професора Ло та дослідники NVIDIA розробили модель PixelDiT, яка замінила прихований простір на простір пікселів. Першу версію розробки було презентовано на конференції CVPR 2026, де вона увійшла до фіналістів номінації на найкращу наукову роботу серед понад 4000 опублікованих досліджень.
Наразі команда створила ще потужнішу версію - PixelDiT2. Вона дозволяє виправляти лише вибрані пікселі (наприклад, змінити форму окулярів на обличчі чи колір конкретного автомобіля), не зачіпаючи решту кадру.
Завдяки оптимізації попіксельної дифузії модель досягла високої якості та швидкості генерації, порівнянних із топовими моделями в latent space.
Офіційне представлення наукової роботи PixelDiT2 відбудеться на грудневій конференції з нейронних систем обробки інформації (NeurIPS 2026).
Автори дослідження - серед яких аспірант та інтерн NVIDIA Юншен Юй (Yongsheng Yu) і випускник університету та старший дослідник NVIDIA Вей Сюн (Wei Xiong) - вже працюють над застосуванням цієї технології для генерації та редагування відео.
Успіх PixelDiT2 дає науковцям інструменти для розв'язання проблеми плавних переходів між кадрами та точного контролю над динамічними об'єктами у відеопотоці.
Як безпечно перейти до системного та керованого використання ChatGPT Business
| 0 |
|
