Для построения 3D-модели лица достаточно снятого видео на смартфон

Лазерные сканеры, времяпролётные (ToF) камеры и другое дорогостоящее оборудование, применяемое сегодня для создания точной 3D-модели чьего-либо лица, как оказалось, вполне может заменить обычный смартфон.

Снятое им видео, представляющее лицо человека под различными углами зрения, позволяет генерировать плотное облако пространственных данных. Для их анализа в Институте робототехники Университета Карнеги-Меллон (CMU) разработан двухэтапный процесс.

Сначала используется популярная техника пространственной реконструкции, SLAM (Simultaneous Localization And Mapping), а затем, оставшиеся неточности модели, связанные с нехваткой данных, корректирует нейросеть глубокого обучения. Вся эта обработка обычно занимает немало времени — от 30 до 40 минут, но при этом она полностью выполняется на ресурсах смартфона.

Авторы метода впервые продемонстрировали его в марте на зимней конференции IEEE по приложениям компьютерного зрения (WACV), проходившей в Сноумесс (штат Колорадо). Для 3D-реконструкции они использовали 15—20-секундное видео, снятое на iPhone X в режиме замедленной съёмки (120/240 fps).

По их заявлению, новый метод способен обеспечить субмиллиметровую точность, превосходя в этом отношении другие подходы, основанные на использовании камер.

Полученную цифровую копию лица можно использовать для создания аватар виртуальной и дополненной реальности, для биометрической идентификации, для изготовления индивидуальных хирургических масок и респираторов и т.п. Метод также подходит для оцифровки любых других объектов.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365