Что может выдать дипфейк?

Исследователи из Университета Буффало разработали инструмент, который автоматически распознает дипфейки, анализируя глаза запечатленного на фото.

На реальной фотографии или видео, блики в глазах обычно выглядят одинаково по форме и цвету. Однако ИИ, включая генеративные состязательные сети (GAN), как правило не могут точно или последовательно воспроизвести этот эффект, возможно, из-за того, что поддельный образ является комбинацией множества фотографий.

Новый инструмент анализирует глаза, затем глазные яблоки и, наконец, свет, отражённый роговицей. Он ищет любые различия в форме, интенсивности и других характеристиках отраженного света.

В экспериментах, проведенных с использованием реальных изображений с Flickr Faces-HQ, а также сгенерированных искусственным интеллектом поддельных изображений с сайта www.thispersondoesnotexist.com, инструмент показал эффективность 94%.

Авторы отмечают, что при всей эффективности такой подход имеет ряд очевидных ограничений: он требует наличия чётких источников света и видимости обоих глаз. Кроме того, различия в отражении легко устраняет постобработка дипфейка в любом фоторедакторе.

Статья с подробным описанием этого исследования, выложена в открытом доступе на на arXiv и будет представлена в июне на Международной конференции IEEE по акустике, обработке речи и сигналов, которая состоится в в Торонто (Канада).

В целом можно сказать, что с минимальными оговорками удалось разработать методику, которая позволяет распознать дипфейки.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365