Нейросети многократно ускоряют раскраску монохромных фото

На ежегодной конференции по компьютерной графике, SIGGRAPH 2017, которая начнёт работу в Лос-Анджелесе (штат Калифорния) 30 июля, коллектив из Калифорнийского университета (UC Berkeley), возглавляемый профессором Алексеем Эфросом (Alexei A. Efros), представит новую технику раскрашивания чёрно-белых изображений. Использование нейросетей глубокого обучения и искусственного интеллекта (ИИ) позволило значительно (с дней и часов до минут) ускорить эту процедуру, по сравнению с раскрашиванием вручную, и сделать её посильной даже для непрофессионалов.

В своей предыдущей работе команда на большом массиве визуальных данных (миллион изображений) натренировала глубокую нейросеть автоматически раскрашивать монохромные картинки без вмешательства пользователя. Полученные тогда результаты в целом были удовлетворительными, но иногда система давала сбой. Например, в случаях, когда цвет объекта может быть неоднозначным, она могла выбирать только одну из возможностей.

В конечном итоге исследователи пришли к заключению, что необходимым условием для достижения желаемого эффекта будет добавление пользователя, который сможет вносить изменения в не устраивающие его результаты работы автоматических алгоритмов.

Модифицированную нейросеть тренировали на монохромном изображении, симулируя в реальном времени воздействия пользователя, корректирующие окрашивание. Указания человека, выражающиеся в добавлении цветовых пунктов, система распространяла на всё изображение.

Такая нейросеть определяет типичные цвета для разных объектов и формирует соответствующие рекомендации для пользователя. Хотя её тренировали на естественных картинках, например, слонов она ассоциирует с оттенками серого и коричневого, но руководствуясь подсказками пользователя она способна генерировать любые цветовые эффекты, наподобие, розовых слонов.

По информации авторов, в испытаниях даже полные новички после минимального обучения и в условиях ограниченного времени (всего одна минута на картинку) могли окрашивать монохромное изображение с уровнем реализма, часто вводившим в заблуждение экспертов, которые оценивали результат.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365