Нейросеть строит 3D-модель из одного селфи за секунды

Последние достижения в области технологий искусственного интеллекта и глубокого обучения позволили учёным из университетов Ноттингема и Кингстона осуществить то, что прежде казалось невозможным.

Разработанное ими веб-приложение на основе всего одного цветного селфи за несколько секунд реконструирует объёмную модель лица. В эффективности работы интеллектуального алгоритма убедились почти полмиллиона людей, загрузивших свои фото на сайт.

Авторы подчёркивают, что в нынешнем виде созданная ими технология ещё далека от совершенства, тем не менее отсутствие необходимости в нескольких фото, снятых под разными углами, кардинально отличает её от известных методов 3D-реконструкции.

Группа исследователей под руководством доктора Йоргоса Цимиропулоса (Yorgos Tzimiropoulos) отказалась от громоздких вычислений для определения глубины изображения и применили для этого свёрточную нейросеть (Convolutional Neural Network, CNN). Этот алгоритм искусственного интеллекта позволяет обучать компьютер выполнению поставленной задачи на примерах, без явного программирования.

Для тренировки созданной большой нейросети учёные использовали массив из 80 тыс. фотоснимков лица вместе с соответствующими 3D-моделями. Обученная система превосходит сегодняшние средства 3D-реконструкции во многих отношениях. Она работает со фотоснимками, полученными при разном, в том числе неравномерном, освещении, снятыми анфас, в профиль и под любым другим углом, демонстрирующими эмоции, и способна восстанавливать невидимые на 2D-изображении фрагменты лицевой геометрии.

В будущем эта технология может быть использована для распознавания лица и эмоций, для персонализации видеоигр, совершенствования виртуальной и смешанной реальности. В медицине с её помощью можно симулировать результаты пластической хирургии, диагностировать аутизм или депрессию.

Статья, посвящённая методу 3D-реконструкции лица по одному изображению путём прямой объёмной регрессии свёрточной нейросети, будет представлена в следующем месяце в Венеции (Италия) на международной конференции по компьютерному зрению ICCV 2017.