Facebook AI разработала метод фотореалистичной подмены текста на фотоснимках

Амбициозную цель переноса «текстовой эстетики» в изображениях поставила перед собой группа исследователей из лаборатории искусственного интеллекта компании Facebook. Иными словами, эту задачу можно описать, как импорт стиля текста с картинок или «отвязку» текстового контента от изображения.

Сложность разработки единого метода усугублялась тем, что он должен работать как для печатного, так и для рукописного текста, передавать не только типографские и каллиграфические особенности, но также пространственные преобразования и деформации, фоновые вариации и шум изображения. Наряду с безграничным разновидностями стилей текста, новый подход должен был охватывать стилизованные и дизайнерские образы текста, используемые в логотипах продуктов, в уличных знаках, исторических рукописях и многих других источниках.

Как утверждают авторы, предложенный ими алгоритм TSB (TextStyleBrush) с обучением без наставника вобрал в себя последние достижения в области создания фотореалистичных изображений с помощью генеративных состязательных нейросетей (GAN), использует распознаватель и классификатор текста, заранее обученные, в частности, с применением специально созданного для этого проекта крупного массива изображений рукописного текста Imgur5K.

Модель обрабатывает слово целиком, позволяет анализировать визуальный стиль и успешно замещать контент, используя в качестве примера всего одно изображение. При этом TSB умеет восполнять даже те буквы алфавита, цифры и символы, которые отсутствовали в исходном образце.

В статье демонстрируется, что TSB превосходит предыдущие работы в количественных тестах, хотя и испытывает сложности в ряде случаев, например, с правильным распознаванием стиля надписей на металлическом фоне, с разноцветными буквами или слишком коротких фрагментов рукописного текста.

С перспективами применения TSB не всё просто, поскольку самым очевидным приложением данного алгоритма является создание фальшивого фотоконтента, для введения в заблуждение и распространения ложных сенсаций. Признавая это, сотрудники Facebook AI, тем не менее, рассчитывают, что их работа в перспективе будет служить улучшению выявления случаев такого неправомерного использования, например, в тестах FaceForensics ++ и Deepfake Detection Challenge (DFDC). TSB также можно использовать для создания обучающих данных для обнаружения поддельного текста на изображениях. Наконец, Facebook AI надеется, что эта работа побудит регулирующие органы обратить дополнительное внимание на неуклонный рост технологий дипфейков.

Стратегія охолодження ЦОД для епохи AI