Компьютерные ученые открыли, как найти предвзятость в алгоритмах

16 ноября 2015 г., 17:05

Может показаться, что программное обеспечение работает без предвзятости, поскольку оно строго использует компьютерный код, чтобы сделать выводы. Вот почему многие компании используют алгоритмы, которые помогают отсеивать соискателей при приеме на работу на новую должность.

Но команда компьютерных ученых из Университета штата Юты, Университета Аризоны и Хаверфордского колледжа в Пенсильвании обнаружила способ узнать, является ли алгоритм, используемый для принятия решений о найме, одобрения кредитов и сравнительно важных задачи, предвзятым, как человеческое существо.

Исследователи во главе с Суреш Венкатасабраманьяном (Suresh Venkatasubramanian), доцентом в Школе вычислений Университета Юты, открыли метод, позволяющий определить, когда такие программы дискриминируют непреднамеренно и нарушают правовые нормы для справедливого доступа к занятости, жилью и к другим возможностям. Команда также определила способ, как исправить эти потенциально тревожные алгоритмы.

«Сканирование и фильтрация резюме становится растущей отраслью для поиска соискателей, так что к этому проявляется интерес, - сказал доц. Венкатасабраманьян. - Если есть структурные аспекты процесса тестирования для осуществления дискриминации в отношении одного сообщества только из-за природы этого сообщества, то это несправедливо».

Многие компании уже используют компьютерные алгоритмы, чтобы помочь отфильтровать соискателей в процессе найма, как правило, потому, что перебор заявлений вручную может стать очень трудоемким процессом, если есть много претендентов на ту же работу. Программа может сделать эту работу путем сканирования резюме и поиска по ключевым словам или цифрам (например, средний балл успеваемости в школе), а затем назначить общий балл заявителю.

Эти программы могут также обучаться по мере того как они анализируют больше данных. Используя алгоритмы машинного обучения, они могут меняться и адаптироваться, как люди и, таким образом, могут лучше прогнозировать результаты.
Но была активная дискуссия о том, могут ли алгоритмы машинного обучения ввести непреднамеренную предвзятость так же, как это делают люди.

«Ирония заключается в том, что чем больше мы разрабатываем технологии искусственного интеллекта, которые успешно имитируют людей, тем более вероятно, что ИИ учится таким же образом, как это делаем мы, со всеми нашими предубеждениями и ограничениями», - отметил доц. Венкатасабраманьян.

Исследование доц. Венкатасабраманьяна определяет, являются ли эти программные алгоритмы предвзятыми по юридическому определению дифференцированного воздействия, теории закона о борьбе с дискриминацией в США, который говорит, что политику можно считать дискриминационной, если она оказывает негативное влияние на какие-либо группы по признаку расы, религии, пола, сексуальной ориентации или иной защищаемый статус.

Работа доц. Венкатасабраманьяна показала, что вы можете использовать тест для определения, есть ли, возможно, предвзятые вопросы в алгоритме. Если тест, который по иронии судьбы использует другой алгоритм машинного обучения, может точно предсказать расу или пол на основе анализируемых данных человека, хотя явно раса или пол не присутствуют в данных, то есть потенциальная проблема для предвзятости, базирующаяся на определении дифференцированного воздействия.

«Я не говорю, что это делается, но я говорю, что, по крайней мере, здесь могут быть потенциальные проблемы», - сказал доц. Венкатасабраманьян.

Если тест обнаруживает возможные проблемы, говорит Венкатасабраманьян, то их легко исправить. Все, что для этого нужно сделать, это перераспределить данные, которые анализируются, так, что это будет препятствовать алгоритму видеть информацию, которая может быть использована для создания предвзятости.

«Это было бы амбициозно и замечательно, если то, что мы сделали, непосредственно улучшит способы практик найма. Но сейчас это доказательство концепции», - отметил доц. Венкатасабраманьян.

Компьютерные ученые открыли, как найти предвзятость в алгоритмах