Samsung улучшила алгоритм восстановления фона изображения после удаления объектов

На Samsung AI Forum компания представила результаты ряда технологий и исследований в области искусственного интеллекта.
 
Среди технологий, обладающих высоким потенциалом, был отмечен LaMa (Resolution-robust Large Mask Inpainting with Fourier Convolutions) – новый подход к проблеме т.н. «инпейнтинга», удаления объектов и последующим восстановления фона. В частности исследователи Samsung Research создали алгоритм, который работает значительно быстрее и точнее предшественников этого подхода.

Как отмечается, одна из основных задач нейросети при инпейтинге - представить, что могло бы быть за объектом на изображении, ориентируясь на контекст, например, рисунок на обоях, текстуру стены и т. д. Необходимо не просто удалить объект, но восстановить фон так, чтобы изображение выглядело убедительно. Специалисты Samsung используют новый подход к генерации масок изображений во время обучения, что делает процесс удаления и закрашивания более точным. Также используются быстрые свертки Фурье, которые повышают устойчивость нейросети к изменению разрешения изображения.

Кроме того, технология «переосвещения сцен» позволяют преобразовать ландшафтные и городские пейзажи, демонстрируя, как они могут выглядеть в разное время суток, при разных условиях освещения и разной погоде. Алгоритм работает на изображениях с разрешением до 4К и дает очень реалистичные результаты на ландшафтных снимках.