+11 голос |
Cейчас, когда искусственный интеллект используется везде, от банкоматов до систем кибербезопасности, критически важно понимать причины явных сбоев в работе нейронных сетей, случающиеся при столкновении с информацией за пределами тренировочных примеров. Об этом заявил Кэмерон Бакнер (Cameron Buckner), доцент философии Хьюстонского Университета (штат Техас), в статье, опубликованной в Nature Machine Intelligence.
Такие входные данные, вводящие в заблуждение ИИ, очень редки и называются «состязательными примерами» поскольку часто создаются другими нейронными сетями, задача которых — запутать конкретную обучаемую модель, пытающуюся, в свою очередь, не допустить ошибки.
Так, систему распознавания лиц злоумышленник может заставить дать сбой, чтобы успешно пройти идентификацию, а наклейка на дорожном знаке может заставить беспилотный автомобиль принять неправильное решение, не всегда безопасное для пассажира.
Предыдущее исследование показало, что, вопреки бытующему мнению, существуют и состязательные примеры, не являющиеся результатом злонамеренных действий. Такие случаи, когда система машинного обучения непредвиденным образом интерпретирует естественные данные, редки и могут быть обнаружены только с помощью ИИ.
Для полноты представления о состязательных примерах, Бакнер предлагает принять во внимание и третью возможность — что некоторые из этих образов являются артефактами, несущими полезную информацию. Их игнорирование может оказаться не менее рискованным, чем бездумное использование.
Столь же важным аспектом этого нового подхода к оценке влияния артефактов на нейронные сети, Бакнер считает понимание того, что ложное срабатывание не обязательно говорит о непригодности обучаемого алгоритма для практического использования.
«Только уяснив, что собой представляют эти артефакты, мы сможем сделать вывод, насколько надёжны сети», — заявил он.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
+11 голос |
Данная новость, как образец "состязательного примера"? Перечитал дважды...
Что тут непонятного? ИИ, который во время трансляции футбольного матча принимает лысую голову бокового судьи за мяч и остаток времени показывает зрителям перемещение судьи (головы) вдоль бровки - это и есть "состязательный ИИ". Мы такого и заслужили.
Перечитав в 3-й раз (и подключив оригинал https://uh.edu/news-events/stories/2020/november-2020/11232020buckner-ai...) понял, что если ошибка нейронной сети вызвана "состязательным примером" созданным злонамеренно - это плохо, а если артефактом - то надо разбираться.
P.S. Приятно, что в оригинале, термин "ИИ"
не употребляетсяупотребляется менее 5-ти раз...Термин "Artificial Intelligence" используется в пресс-релизе университета четыре раза.
Да, погорячился... Исправил.