На Международной конференции по полупроводниковым схемам, открывшейся на этой неделе в Сан-Франциско (штат Калифорния), исследователи из Массачусетского технологического института (MIT) представили чип, специально предназначенный для реализации нейросетей в мобильных устройствах. Он в 10 раз эффективнее, чем обычно используемые для этих целей мобильные GPU, что позволяет выполнять мощные алгоритмы глубокого обучения локально, а не загружать данные для обработки в Интернет.
«Глубокое обучение используется в многих приложениях, таких как распознавание объектов, речи или лиц, — пишет адъюнкт-профессор MIT Вивьен Цзэ (Vivienne Sze). — На данный момент такие сети довольно сложны и главным образом работают на высокопроизводительных GPU. Перенос этой функциональности на сотовый телефон или встроенные устройства позволит работать даже без подключения через Wi-Fi. Локальная обработка может быть предпочтительнее и из соображений приватности. Также она избавит от любых задержек, связанных с передачей, значительно ускорив некоторые приложения».
Новый чип «Eyeriss» содержит 168 ядер, примерно столько же, как и мобильные GPU. Ключом к его высокой эффективности является минимизация обращений ядер к удалёнными банками памяти — операции, которые отнимают львиную часть времени и энергии. В отличие от графических процессоров, в которых многие ядра используют общую память, в Eyeriss каждое их них может хранить данные локально. Более того, в этом чипе предусмотрена схема, сжимающая информацию перед ее пересылкой индивидуальным ядрам. Каждое ядро также напрямую общается с ближайшими соседями и обменивается с ними данными непосредственно, без маршрутизации через основную память.
Ещё одним слагаемым высокой эффективности Eyeriss является схема распределения задач между ядрами. Она может конфигурироваться для разных типов нейросетей и автоматически распределяет данные таким образом, чтобы ядра выполняли максимальный объём работы до обращения к основной памяти.
На конференции авторы Eyeriss использовали его для распознавания изображений, впервые продемонстрировав реализацию нейросетей столь высокого уровня на заказном чипе.