Facebook открыла код PyTorch3D

Исследовательским подразделением Facebook на прошлой неделе был опубликован код инструментального пакета PyTorch3D, созданного внутри компании для разработки моделей искусственного интеллекта (ИИ), применимых к трехмерному окружению.

Способность понимать объёмные задачи крайне важна для приложений глубокого обучения в многих перспективных областях, включая робототехнику, виртуальную и дополненную реальность. Кроме того, даже уже привычные всем модели распознавания лица могут работать более точно, если будут рассматривать цифровые изображения как плоскую проекцию трёхмерного объекта.

Слабый прогресс в этой области ИИ сама Facebook отчасти объясняет нехваткой специализированных средств разработки. Этот недостаток она и постаралась устранить, создавая инструментарий PyTorch3D, существенно упрощающий внедрение 3D-технологий в приложения ИИ.

Центральным компонентом PyTorch3D является структура данных, называемая Meshes (сетки). Она предоставляет единый формат описания полигональных сеток, из которых состоят 3D-модели. Meshes упрощает разработчикам ИИ использование данных, задающих эти разнородные сетки.

Facebook включила в PyTorch3D постоянно расширяемый набор функций потерь и операторов. Функции потери — это алгоритмы, используемые для отслеживания ошибок, которые ИИ совершает во время обучения на наборе данных, они помогают вносить коррективы в ход процесса обучения. Оператор представляет собой, по сути, способ быстрого вызова сложных функций, в данном случае, для расчетов с использованием трехмерных объектов.

Визуализировать пространственные данные для разработчиков позволяет входящий в PyTorch3D движок рендеринга 3D-данных в 2D-изображения. Помимо генерирования самих объектов он может добавлять к ним эффекты освещения и затенения. Прикладной программный интерфейс служит для экспортированная проектов PyTorch3D в популярные среды глубокого обучения, такие как PyTorch.

«С PyTorch3D мы преследуем цель, способствовать прогрессу на стыке глубокого обучения и 3D, — пишут исследователи Facebook. — Благодаря уникальным дифференцируемым возможностям рендеринга мы с оптимизмом оцениваем потенциал (инструментария) для создания систем высококачественного 3D-прогнозирования, не полагающихся на утомительное ручное аннотирование 3D».

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365