Комбинированная обработка данных делает нейросети немного умнее

Исследователи искусственного интеллекта (ИИ) в Университете штата Северная Каролина смогли улучшить производительность нейронных сетей глубокого обучения, объединив механизмы внимания и нормализации признаков в общем модуле, который они назвали «внимательной нормализацией» (Attentive Normalization, AN). Этот гибридный модуль существенно (до 3%) улучшает точность систем ценой незначительного увеличения расхода энергии.

Исследователи подключили свой модуль AN к четырём наиболее популярным архитектурам нейросетей — ResNets, DenseNets, MobileNetsV2 и AOGNets — и испытали его на двух стандартных эталонных тестах: ImageNet-1000 (классификация) и MS-COCO 2017 (обнаружение объектов и семантическая сегментация).

Было установлено, что добавление AN улучшает производительность во всех случаях. Другим важным преимуществом гибридной технологии стало то, что она улучшала перенос опыта, приобретённого в одной области, в другую. Это иллюстрируется улучшением производительности в тесте семантической сегментации MS-COCO глубоких нейронных сетей, которые предварительно были обучены классификации изображений на данных ImageNet.

Презентация статьи «Attentive Normalization» состоялась на онлайновой Европейской конференции по компьютерному зрению (ECCV), проходившей с 23 по 28 августа.

Авторы опубликовали исходный код AN в надежде, что их технология внесёт вклад в оптимизацию архитектуры нейросетей глубокого обучения.