Обман или артефакт: новый взгляд на машинное обучение

Cейчас, когда искусственный интеллект используется везде, от банкоматов до систем кибербезопасности, критически важно понимать причины явных сбоев в работе нейронных сетей, случающиеся при столкновении с информацией за пределами тренировочных примеров. Об этом заявил Кэмерон Бакнер (Cameron Buckner), доцент философии Хьюстонского Университета (штат Техас), в статье, опубликованной в Nature Machine Intelligence.

Такие входные данные, вводящие в заблуждение ИИ, очень редки и называются «состязательными примерами» поскольку часто создаются другими нейронными сетями, задача которых — запутать конкретную обучаемую модель, пытающуюся, в свою очередь, не допустить ошибки.

Так, систему распознавания лиц злоумышленник может заставить дать сбой, чтобы успешно пройти идентификацию, а наклейка на дорожном знаке может заставить беспилотный автомобиль принять неправильное решение, не всегда безопасное для пассажира.

Предыдущее исследование показало, что, вопреки бытующему мнению, существуют и состязательные примеры, не являющиеся результатом злонамеренных действий. Такие случаи, когда система машинного обучения непредвиденным образом интерпретирует естественные данные, редки и могут быть обнаружены только с помощью ИИ.

Для полноты представления о состязательных примерах, Бакнер предлагает принять во внимание и третью возможность — что некоторые из этих образов являются артефактами, несущими полезную информацию. Их игнорирование может оказаться не менее рискованным, чем бездумное использование.

Столь же важным аспектом этого нового подхода к оценке влияния артефактов на нейронные сети, Бакнер считает понимание того, что ложное срабатывание не обязательно говорит о непригодности обучаемого алгоритма для практического использования.

«Только уяснив, что собой представляют эти артефакты, мы сможем сделать вывод, насколько надёжны сети», — заявил он.