ИИ улучшает чёткость изображений лица в 64 раза, добавляя реалистичные детали

В Университет Дюка (штат Северная Каролина), компьютерные учёные под руководством Синтии Рудин (Cynthia Rudin), разработали инструмент ИИ, который превращает размытые или зашумлённые изображения лица в убедительные и детализованные портреты.

До сих пор было возможно масштабировать такие изображения в восемь раз от исходного разрешения, однако новый метод позволяет улучшить их в 64 раза. Такие сгенерированные образы нельзя использовать для идентификации людей, тем не менее выглядят они как настоящие.

Авторы представят свой метод под названием PULSE на Конференции по компьютерному зрению и распознаванию образов (CVPR 2020), которая проходит в виртуальном формате 14–19 июня.

Избранный командой Дюкского университета подход отличается от применяемого обычно для увеличения разрешения изображений. Вместо того, чтобы постепенно добавлять детали к картинке низкого разрешения, PULSE ищет среди сгенерированных искусственным интеллектом лиц (после снижения их разрешения) наилучшее соответствие заданному образу. При её обучении использовалась техника генеративных конкурирующих сетей (GAN): одна сеть улучшала изображения до тех пор, пока вторая могла отличать их от реальных фотографий.

В итоге получилась система, которая способна увеличить размер изображения лица с 16×16 до 1024×1024 пикселей за несколько секунд, добавляя такие неразличимые прежде детали, как морщины, поры и пряди волос.

При сравнении 1440 изображений, полученных PULSE и пятью другими методами масштабирования, к которому привлекли 40 человек, результаты PULSE получили наивысший рейтинг, почти как фотографии реальных людей.