В Microsoft Research разработана система, определяющая объекты на фотографиях

Исследователи Microsoft Research создали алгоритмы, которые позволяют машинам описывать изображенные на фотографиях объекты.

«Машину научили понимать изображение так, как это делает человек», - комментирует событие исследователь центра машинного обучения Microsoft Research Сяодонг Хэ (Xiaodong He). Например, когда компьютеру показывают изображение человека с ПК, система может сосредоточиться на человеке, а не на ПК. При этом анализируя изображение определяется кто на фото: мужчина или женщина.

Работа над подобными системами распознавания ведется уже несколько десятилетий, однако долгое время исследователям не удавалось решить эту задачу.

Своеобразный прорыв произошел после того, как начали активно использовать нейронные сети.

Специалисты Microsoft создали алгоритм, которые автоматически распознает изображения в несколько шагов.

1. Он подбирает слова, которые могут появиться в описании картинки. Эту функцию выполняет так называемая конволюционная нейронная сеть. Ее тренировали на большом массиве изображений и описаний к ним, поэтому эта система научилась распознавать основные цвета на фото, формы объектов и другие параметры. Человеческий мозг использует почти такой же алгоритм для распознавания изображений.

2. Далее алгоритм использует языковую модель, чтобы выбрать из созданного массива, наиболее подходящие для описания картинки. «Важной частью является то, что языковая модель генерирует текст на основе изображения», - говорит Джоффри Цвейг (Geoffrey Zweig), возглавляющий группу в Microsoft Research, которая занимается исследованиями языка.

3. На последнем этапе система создает таблицу, в которой проставляет баллы семантической связи слов с изображением, после чего выбирает из нее строки с наибольшими значениями.

По мнению Хэ, подобные технологии могут служить фундаментом для создания более развитого искусственного интеллекта. Например, такого, который сможет быть постоянно рядом с пользователем, учиться вместе с ним и помогать ему в повседневных вещах.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365