Новая нейросеть позволяет «переснять» фото под другим углом

18 июнь, 2018 - 10:55

Новая нейросеть позволяет «переснять» фото под другим углом

Группа исследователей, сотрудничающая с лондонским подразделением Google, DeepMind, разработала систему Generation Query Network (GQN), позволяющую создавать объёмную модель сцены на основании нескольких фотоснимков, сделанных под разными углами. В журнале Science авторы изобретения рассказали о созданной ими нейронной сети нового типа.

От традиционных интеллектуальных компьютерных приложений, включая сети глубокого обучения, GQN отличает то, что данные для тренировки система получает самостоятельно, путём наблюдения, как человеческий ребёнок. При этом ей доступна только 2D-информация о наблюдаемой сцене, так что GQN должна сама строить умозаключения о расстоянии до каждой точки каждого объекта и о его очертаниях, скрытых другими предметами. Система не может снимать уточняющие фотографии под новыми углами, ей приходится довольствоваться только имеющимися снимками.

Решить эту неординарную задачу, как объясняют авторы, позволяет комбинация из двух нейронных сетей. Одна из них анализирует сцену, а другая использует подготовленные ею данные для построения 3D-представления.

В её современном виде GQN успешно делает объёмными только простейшие сцены, и необходимы дальнейшие исследования, чтобы понять, насколько эта технология расширяема на более сложные объекты. Тем не менее, даже в этой примитивной форме система демонстрирует новый путь дальнейшего развития обучаемых алгоритмов.