Состязательные атаки на ИИ открывают возможности махинаций в здравоохранении

Небольшая группа исследователей из Гарвардского университета и Массачусетского технологического института (MIT) в заметке, опубликованной журналом Science, указала на потенциальную опасность состязательных атак для будущих медицинских систем искусственного интеллекта (ИИ).

Как показали предыдущие исследования, практически все системы ИИ в большей или меньшей степени уязвимы для состязательных атак (adversarial attack), цель которых — обмануть обученную модель. Авторы даже продемонстрировали как изображение, содержащее особую шумовую структуру, приводит в замешательство интеллектуальную систему распознавания, заставляя её выдавать неверные результаты.

Однако наибольшую озабоченность университетских учёных вызывает потенциальная уязвимость ИИ-систем, уже занимающихся в больницах приёмом заявок и выставлением счетов. и принятием оплаты. По их мнению такие системы оставляют простор для нечистоплотных манипуляций.

Больницы или даже отдельные врачи могут изменять сведения в анкетах, чтобы получать больше от страховых компаний или по программе Medicaid, например, менять код изображения, выдавая простой рентгеновский снимок за более дорогостоящую магнитно-резонансную томограмму.

Также существует опасность, что больницы будут напрямую обучать системы ИИ лучшим способам обмана страховщиков или правительства. Подобные злоупотребления будет почти невозможно обнаружить.

Помочь устранить эту опасность ещё до того, как она станет актуальной, по мнению авторов, могло бы создание междисциплинарных групп, в которых эксперты из таких областей, как право, информатика и медицина сообща работали бы над формулированием новых политик и путей предотвращения состязательных атак, или, хотя бы, их надёжного выявления.