Multinex - ультралегкий AI для покращення нічних фото та відео

Студент Манчестерського університету розробив надлегкий штучний інтелект, здатний перетворювати темні й зашумлені кадри на чіткі, деталізовані та якісні зображення. Нова модель під назвою Multinex була створена бакалавром комп'ютерних наук Александру Братяну (Alexandru Brateanu) в межах його дипломного проєкту під керівництвом академічних наставників.

Розробка демонструє кращі результати за всі аналогічні компактні системи, успішно відновлюючи деталі на знімках, які раніше вважалися б безнадійно зіпсованими. Цей технологічний прорив має величезне значення для сучасної мобільної фотографії, систем безпеки та широкого спектра завдань комп'ютерного зору.

Головна мета систем покращення зображень в умовах низької освітленості (LLIE, Low-Light Image Enhancement) полягає у відновленні природної видимості, точної передачі кольору та структурних деталей. І хоча сучасні AI-моделі досягли в цьому значних успіхів, більшість із них спирається на «важку» архітектуру з величезною кількістю параметрів. Це вимагає колосальних обчислювальних витрат і унеможливлює роботу алгоритмів у реальному часі на слабкому залізі.

На конференції CVPR 2026 (IEEE/CVF Conference on Computer Vision and Pattern Recognition) команда вчених представила структуроване розв'язання цієї проблеми. В основі Multinex лежить класична теорія колірного зору, реалізована за допомогою сучасних нейромережевих компонентів у межах концепції Retinex. Цей фундаментальний метод розділяє вихідний кадр на два базові компоненти: освітленість (світло) та відбиваність (колір), що дозволяє набагато ефективніше обробляти темні сцени.

«Мій інтерес до цієї теми виник під час дослідницького стажування після першого курсу, коли я загорівся ідеєю зробити візуальний AI меншим, але розумнішим, - розповідає автор проєкту Александру Братяну. - Multinex народився з думки, що правильне математичне формулювання завдання дозволяє створювати ефективніші моделі. Поєднуючи класичні принципи колористики та Retinex із мультидескрипторним аналізом світла, ми допомагаємо компактній мережі фокусувати її обмежену місткість виключно на покращенні картинки. Це робить наш AI ідеальним для інтеграції в критично важливі системи безпеки, що працюють у реальному часі».

Головна перевага Multinex - фокус на покращенні, а не на повній генеративній реконструкції кадру з нуля. Завдяки оптимізації нейромережевих операцій модель демонструє високу точність відновлення кольору, використовуючи лише мізерну частку ресурсів порівняно з наявними аналогами.

Розробники випустили AI у двох конфігураціях:

Multinex Lightweight - полегшена версія на 45000 параметрів;

Multinex Nano - екстремально компактна версія всього на 700 (0.7K) параметрів.

Для порівняння, популярні конкурентні енергоефективні моделі, такі як PairLIE (330000 параметрів) або ZeroDCE (80000 параметрів), вимагають значно більше ресурсів, суттєво поступаючись Multinex за якістю фінального зображення.

Як і інші подібні технології, Multinex усе ще натрапляє на труднощі в екстремальних сценаріях: за наявності сильних спектральних спотворень, бліків від об'єктивів або змішаного штучного й природного світла. Наразі команда працює над розширенням фреймворку для таких складних випадків і планує адаптувати принципи Multinex для інших суміжних сфер - очищення зображень від туману, підводного знімання та корекції колірної константи.

«Покращення зображень за низької освітленості - це фундаментальний елемент моделювання світу, на якому будується AI наступного покоління, - підкреслила доктор Тінгтінг Му (Tingting Mu), доцентка кафедри машинного навчання Манчестерського університету. - Ця робота доводить важливість інтеграції класичних знань про світло та сприйняття в сучасні нейромережі. У майбутньому здатність бачити й аналізувати дані в повній темряві стане критичним фактором для досягнення справжньої автономії роботів та безпілотних систем у реальному світі».