`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Facebook представила два новых инструмента для разработчиков моделей ИИ

0 
 

Facebook представила два новых инструмента для разработчиков моделей ИИ

Dynaboard и Dynascore, два новых компонента выпущенного в прошлом году открытого ПО Dynabench, которые в понедельник представила Facebook, призваны помочь оптимизировать важный этап процесса разработки моделей машинного обучения — эталонное тестирование.

Возможность точно измерить производительность модели и выяснить лучше ли она, чем у уже имеющегося ПО, является важным мерилом успешности большинства ИИ-проектов — как для самих разработчиков, так и для стартапов, занимающихся коммерциализацией результатов их труда.

Получение надежных общих результатов тестирования производительности является частой проблемой в ситуациях когда, например, модель лидирует в одних тестах, но отстаёт в других. Из-за сложности подобного ПО даже незначительные изменения в способе выполнения тестов могут вести к большим расхождениям в результатах, что затрудняет сопоставление эффективности разных алгоритмов ИИ. Именно эту задачу и должны упростить Dynaboard с Dynascore.

Dynaboard может использоваться для создания облачной среды тестирования ИИ. Dynascore — это простая и понятная метрика для сравнения моделей ИИ, разработанная Facebook на основе концепций микроэкономики.

Рейтинг Dynascore определяется с учётом множества факторов. Помимо собственно точности модели, во внимание принимаются устойчивость к возмущениям, таким как орфографические ошибки для модели обработки естественного языка (NLP), алгоритмическая непредвзятость, эффективность использования аппаратных ресурсов.

Dynaboard и Dynascore уже продемонстрировали свою полезность для улучшения бенчмаркинга ИИ. Составленный с их помощью рейтинг некоторых из передовых моделей NLP в целом неплохо согласуется с SuperGLUE — известным рейтингом моделей искусственного интеллекта.

«Мы надеемся, что Dynabench поможет сообществу ИИ создавать системы, которые делают меньше ошибок, меньше подвержены потенциально опасным предубеждениям и более полезны для людей в реальном мире», заявили исследователи из группы искусственного интеллекта Facebook.

Вы можете подписаться на нашу страницу в LinkedIn!

0 
 

Напечатать Отправить другу

Читайте также

 
 

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT