Facebook представила два новых инструмента для разработчиков моделей ИИ

Dynaboard и Dynascore, два новых компонента выпущенного в прошлом году открытого ПО Dynabench, которые в понедельник представила Facebook, призваны помочь оптимизировать важный этап процесса разработки моделей машинного обучения — эталонное тестирование.

Возможность точно измерить производительность модели и выяснить лучше ли она, чем у уже имеющегося ПО, является важным мерилом успешности большинства ИИ-проектов — как для самих разработчиков, так и для стартапов, занимающихся коммерциализацией результатов их труда.

Получение надежных общих результатов тестирования производительности является частой проблемой в ситуациях когда, например, модель лидирует в одних тестах, но отстаёт в других. Из-за сложности подобного ПО даже незначительные изменения в способе выполнения тестов могут вести к большим расхождениям в результатах, что затрудняет сопоставление эффективности разных алгоритмов ИИ. Именно эту задачу и должны упростить Dynaboard с Dynascore.

Dynaboard может использоваться для создания облачной среды тестирования ИИ. Dynascore — это простая и понятная метрика для сравнения моделей ИИ, разработанная Facebook на основе концепций микроэкономики.

Рейтинг Dynascore определяется с учётом множества факторов. Помимо собственно точности модели, во внимание принимаются устойчивость к возмущениям, таким как орфографические ошибки для модели обработки естественного языка (NLP), алгоритмическая непредвзятость, эффективность использования аппаратных ресурсов.

Dynaboard и Dynascore уже продемонстрировали свою полезность для улучшения бенчмаркинга ИИ. Составленный с их помощью рейтинг некоторых из передовых моделей NLP в целом неплохо согласуется с SuperGLUE — известным рейтингом моделей искусственного интеллекта.

«Мы надеемся, что Dynabench поможет сообществу ИИ создавать системы, которые делают меньше ошибок, меньше подвержены потенциально опасным предубеждениям и более полезны для людей в реальном мире», заявили исследователи из группы искусственного интеллекта Facebook.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365