Как снизить уязвимость боевых нейросетей к состязательным атакам

С 2018 г. исследователи из Армейской исследовательской лаборатории и компании SRI International в рамках партнёрства Internet of Battlefield Things Collaborative Research Alliance, занимаются поиском способов повышения надёжности военных алгоритмов машинного обучения, рассчитывая сделать их менее подверженными мошенническим методам и защитить от введения в заблуждение состязательными (adversarial) образцами данных, выходящими за пределы тренировочного массива.

Промежуточный итог своей работе они подвели в статье «Attribution-Based Confidence Metric for Deep Neural Networks» для конференции по системам обработки нейронной информации.

«Наш подход универсален и может быть добавлен в качестве дополнительного блока в многие современные армейские системы, использующих подвинутые алгоритмы нейронных сетей глубокого обучения (DNN) для анализа визуальных образов», — сообщил доктор Брайан Джалаян (Brian Jalaian) из лаборатории Командования по развитию боевых возможностей армии США (CCDC).

В то же время, он отметил, что имеющиеся методы всё ещё не позволяют выявлять самые сильные современные атаки, например, с применением состязательных патчей, которые добавляют шум к изображениям и заставляют нейросеть выдавать ошибочные прогнозы.

«В этой работе мы предложили генеративную модель, которая корректирует аспекты исходных входных изображений в исходной нейросети глубокого обучения. Её отклик на эти сгенерированные входные данные оценивается для измерения соответствия», — заявил Джалаян.

От известных альтернатив такой подход выгодно отличает отсутствие необходимости доступа к тренировочным данным, либо обучения калибровочной модели на отдельном, проверочном массиве данных.

В Армейской лаборатории исследователи в сотрудничестве с научным и инженерным сообществом продолжают работать над контейнеризованными алгоритмами измерения достоверности моделей нейросетей для всевозможных приложений. Такие алгоритмы должны будут выполняться внутри небольших умных устройств, входящих в состав Интернета Боевых Вещей (Internet of Battlefield Things).

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365