Facebook разрабатывает собственный чип для глубокого обучения

19 февраль, 2019 - 13:55

Facebook разрабатывает собственный чип для глубокого обученияРуководитель подразделения Facebook AI Research, Янн ЛеКун (Yann LeCun), сообщил, что компания активизировала работу над собственными чипами для машинного обучения. О возможности создания подобного специализированного чипа он говорил и четыре года назад. «Разница в том, что сейчас работа идёт полным ходом, а тогда всё только зарождалось», – отметил ЛеКун в интервью на Конференции по полупроводниковым схемам (SSCC), состоявшейся в Сан-Франциско (штат Калифорния).

По его словам, для компаний с высокими объёмами вычислений, таких как Facebook или Google, имеет смысл работать на собственных движках, если индустрия не может предоставить нужного решения. Но сама Facebook традиционно делала это через партнёрство с производителями оборудования, мотивируя их создавать нужные ей решения.

Более широко о необходимости широких отраслевых инициатив для решения с помощью специализированных чипов проблем глубокого обучения на этапах тренировки и умозаключений, ЛеКун говорил в своей пленарной речи на конференции.

Прежде всего он подчеркнул острую необходимость энергоэкономичных чипов для обработки данных от сенсоров прямо на границе сети, без отсылки их для этого в облако.

Кроме того, более экономичные процессоры важны и на промежуточном этапе в облаке – для «оффлайнового» обучения нейронных сетей и традиционного построения умозаключений.

Ну и наконец, в высшем звене «пищевой цепочки» глубокого обучения, в отделах исследований и разработки Facebook и других компаний, требуются дополнительные опции помимо графических процессоров Nvidia, являющихся основным средством тренировки нейронных сетей.

«На самом высоком уровне нам сейчас нужна конкуренция доминирующему поставщику, – считает ЛеКун. – Не потому, что они чем-то плохи, а потому, что было бы неплохо иметь другой комплект оборудования, который делал бы другие предположения и дополнял таким образом работу нынешнего поколения GPU».

В настоящее время остаётся открытым вопрос о структуре таких альтернативных чипов. Будущие нейронные сети должны обладать возможностью анализировать целиком всё видео, содержащее многие тысячи пикселей. Для этого может понадобиться совершенно новая процессорная архитектура. Матрицы и тензоры – базовых элементы сегодняшнего оборудования ИИ, завтра могут оказаться уже не идеальными.

Что может заменить их? «Я не знаю. Я думаю, что настоящие гении в области аппаратного обеспечения должны будут изобрести новые способы делать это», – заявил ЛеКун.