Проблемы и последствия «алгоритмической дискриминации»

Инцидент с Джорджем Флойдом (George Floyd), вызвавший волну глобальных протестов против расовой дискриминации, закономерно породил афтершоки в уже давно подвергающейся нападкам активистов индустрии распознавания лиц.

Проблемы «алгоритмической дискриминации» получили широкую огласку с выходом в 2018 г. совместной статьи Джоя Буоламвини (Joy Buolamwini) из MIT Media Lab и Тимнита Гебру (Timnit Gebru) из Microsoft Research. Эта пара исследователей дотошно подсчитала, что большинство систем распознавания ошибаются гораздо чаще (на десятки процентов) при попытках классифицировать по фотографии пол людей с темным цветом кожи.

Кажется вполне естественным, что со снижением яркости точность категоризации должна падать, однако New York Times тогда не замедлила привлечь внимание публики к тому, что причиной тут может быть тенденциозный подбор тренировочных данных, используемых для обучения интеллектуальных алгоритмов.

И вот, с нынешним обострением расовых противоречий, крупнейшие провайдеры систем распознавания лиц, один за другим, решили отложить непопулярные технологии в долгий ящик, то есть, до принятия законов, регламентирующих правильное их использование.

Застрельщиком инициативы стала корпорация IBM, которая 8 июня заявила, что прекращает разрабатывать и продавать собственную технологию распознавания лиц из-за потенциального нарушения последней прав человека и приватности, а также из предвзятости рекомой технологии в отношении ряда факторов, таких как возраст, этническая принадлежность и раса. Спустя пару дней примеру IBM последовала AWS. Она объявила годовой мораторий на использование полицией платформы Amazon Rekognition.

Последним из крупных игроков этого сегмента, в прошлый четверг сказала своё слово Microsoft. «Мы не продаем нашу технологию распознавания лиц отделам полиции США сегодня, и не будем продавать её пока не будет принят строгий общенациональный закон, основанный на правах человека», – процитировала её газета Washington Post.

Директор IDC, Майк Джуд (Mike Jude), считает, что действия этих крупных компаний преследуют цель продемонстрировать добрую волю в условиях регуляторного кризиса, охватившего Европу и США. Тем более, что это решение мало ущемляет их бизнес, чего не скажешь о сотрудничающих с полицией небольших провайдерах подобных услуг, например, Idemia и DataWorks Plus.

Однако вместо снижения напряженности, действия IBM, AWS и Microsoft Research могут возыметь противоположный эффект. Их могут воспринимать (и уже воспринимают) как признание компаниями своей вины и подтверждение уже не потенциальной, а фактической опасности этих технологий.

Мэтт Кейгл (Matt Cagle), адвокат Американского союза гражданских свобод в Северной Калифорнии, сказал: «Когда сами производители распознавания лиц отказываются продавать эту технологию надзора, потому что она настолько опасна, законодатели больше не могут отрицать угрозы нашим правам и свободам».