ATMSeer вскрывает «чёрный ящик» машинного обучения

Интерактивный инструмент, разработанный группой во главе с сотрудниками Массачусетского технологического института (MIT), впервые позволяет видеть и контролировать работу автоматизированных систем машинного обучения. Этот продукт, по представлению его авторов, должен способствовать росту доверия к таким системам, кроме того с его помощью проще искать способы их дальнейшего совершенствования.

Создание модели машинного обучения для определенной задачи, такой как классификация изображений, диагностика заболеваний или прогнозирование фондового рынка, это трудоемкий процесс. Прежде чем приступить к обучению, эксперты сначала выбирают алгоритм для построения модели, как-то нейросети, деревья решений, случайный лес или логистическая регрессия, а затем вручную настраивают «гиперпараметры», определяющие её общую структуру.

Системы автоматизированного машинного обучения (AutoML) интерактивно тестируют и модифицируют алгоритмы и эти гиперпараметры, составляя оптимальную модель для данного сценария использования. Однако такие системы работают как «чёрный ящик» — их методы выбора скрыты от пользователей.

В статье, представленной на конференции ACM по человеческим факторам в вычислительных системах, исследователи из MIT, Научно-технического университета Гонконга (HKUST) и университета Чжэцзян рассказали об инструменте ATMSeer, который вкладывает контроль за методами AutoML в руки пользователя.

ATMSeer визуализирует процесс поиска в дружественном для пользователя интерфейсе, который представляет детальную информацию о функционировании модели.

«Визуализация данных это эффективный подход к улучшению сотрудничества между людьми и машинами. ATMSeer иллюстрирует эту идею, — говорит ведущий автор статьи, Цяньвэнь Ван (Qianwen Wang) из HKUST. — ATMSeer главным образом будет полезен для практиков машинного обучения, независимо от их специализации, [которые] имеют определенный опыт. Он может облегчить задачу выбора вручную алгоритмов машинного обучения и настройки гиперпараметров».

В тематических исследованиях с привлечением аспирантами, которые не имели предшествующего опыта работы с AutoML, авторы обнаружили, что около 85% участников, использовавших ATMSeer, были уверены в моделях, выбранных этой системой. Почти все участники заявили, что использование этого инструмента позволило им с большим комфортом относиться к перспективам применения систем AutoML в будущем.