Гибридная камера произведёт переворот в приложениях машинного зрения

В Стэнфордском университете сконструирована интеллектуальная камера для ускоренной и энергоэффективной классификации изображений. Разработчики считают, что в будущем такие камеры придут на смену относительно большим, медленным и расходующим много энергии компьютерам, которые служат для анализа потока изображений в сегодняшних самоуправляемых автомобилях.

В статье, вышедшей 17 августа в Nature Scientific Reports, изобретатели рассказали, как они объединили два типа компьютеров и получили гибридную опто-электрическую систему, ориентированную на анализ изображений.

Первый слой прототипной камеры представляет собой оптический компьютер, служащий для предварительной физической обработки визуальных данных и отправки отфильтрованной информации во второй слой — традиционный цифровой электронный компьютер.

Оптическая фильтрация осуществляется естественным образом при прохождении света через первый слой, с нулевым потреблением энергии. Таким образом гибридная система экономит много времени и электричества, которые пришлось бы потратить, реализуя фильтрацию на обычном компьютере. «Удаётся избежать миллионов расчётов, и всё происходит со скоростью света», — поясняют авторы.

Нынешний прототип, собранный на лабораторном столе, нельзя назвать компактным, но сама конструкция обладает большим потенциалом миниатюризации для того, чтобы со временем найти применение в портативных видеокамерах, размещаемых, например, в дронах.

В симуляциях и реальных испытаниях такая система успешно распознавала самолёты, автомобили, котов, собак и прочие объекты на снимке. В дальнейшем, по мнению разработчиков, она будет особенно полезна для приложений, требующих быстрого принятия решений, таких как навигация беспилотных летательных аппаратов с распознаванием препятствий и уклонением от них.