Новый алгоритм определяет место съемки видео по звукам и изображениям

Испанские исследователи из Ramón Llull University в Барселоне создали систему, которая позволяет осуществлять географическую привязку видео путем анализа аудиовизуального содержимого — сравнивая его с глобальной базой мультимедиа-информации.

В будущем, как надеются авторы, она пригодится для обнаружения пропавших людей или террористов по видео, выкладываемым в соцсетях, а также для географического поиска, например, в YouTube.

«Акустическая информация может быть не менее, а в ряде случаев и более надежна, чем визуальная для задач геолокации видео, — прокомментировал один из авторов исследования, Хавьер Севильяно (Xavier Sevillano). — Мы используем некоторые физические и математические векторы из области распознавания акустических источников, поскольку они уже продемонстрировали положительные результаты».

Все полученные данные объединяют и группируют в кластеры, а затем сравнивают с препарированными таким же образом видеороликами, координаты съемки которых известны.

В статье, вышедшей в журнале Information Sciences, ученые рассказывают, что в качестве опорной коллекции видео ими использовалось более 10 тыс. записей из базы эталонной аудиовизуальной информации MediaEval — Placing Task.

Несмотря на ограниченность размера и географического охвата базы, предложенная система превзошла конкурентов по точности примерно в четыре раза. Для 3% видео она смогла обеспечить привязку в радиусе 10 км от актуальной позиции съемки, а для 1% ошибка позиционирования не превышала одного километра.