Новий фреймворк покращує високоякісні знімки, зроблені за умов слабкого освітлення

Сучасні камери здатні фіксувати деталі у високій роздільній здатності, проте при поганому освітленні зображення залишаються зернистими, а важливі деталі губляться в тінях. Оскільки камери все частіше використовуються у системах комп'ютерного зору (автономне водіння, спостереження, медицина), ця проблема виходить за межі естетики.

Зі зростанням роздільної здатності покращення фото ускладнюється: ультрависока чіткість (UHD) вимагає збереження як загальної освітленості сцен, так і найдрібніших текстур, що створює величезне обчислювальне навантаження.

Для розв'язання цієї проблеми дослідницька група під керівництвом професора Цзяї Ма (Jiayi Ma) та доктора Хао Чжана (Hao Zhang) з Уханського університету (Китай) розробила новий метод під назвою LL-Refiner.

Результати дослідження опубліковано в журналі IEEE/CAA Journal of Automatica Sinica.

Принцип роботи LL-Refiner полякає у тому, що замість прямої одноетапної обробки важких UHD-зображень, фреймворк працює у два послідовні етапи.

Нейромережа на базі трансформера обробляє знижену копію зображення, ефективно вирівнюючи загальне освітлення, колірну гаму та структуру сцени.
      
Отриманий результат передається адаптивній мережі через модулі cross-attention, які поступово відновлюють чіткість країв, дрібні текстури та текст на повній роздільній здатності.
      
Під час тестувань на реальних наборах даних LL-Refiner перевершив наявні аналоги за чіткістю локальних візерунків та загальною гармонійністю кадру.

Окрім візуальної якості, науковці випробували метод у завданні оцінки глибини (depth estimation), що критично для робототехніки та безпілотного транспорту. Зображення, оброблені за допомогою LL-Refiner, забезпечили найточніші показники оцінки заднього плану порівняно з іншими алгоритмами.

«Наш метод успішно зберігає як чіткість текстових ділянок, так і тонку структуру візерунків. LL-Refiner виявився єдиним методом, який забезпечив достатньо точну оцінку глибини фону, тоді як інші підходи не змогли передати фонові структури», — підкреслив професор Цзяї Ма.

Стратегія охолодження ЦОД для епохи AI