`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Что для вас является метрикой простоя серверной инфраструктуры?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Исследователи ИИ ужесточили тесты для моделей распознавания языка

0 
 

Исследователи ИИ ужесточили тесты для моделей распознавания языка

Facebook AI Research, Google DeepMind, Вашингтонский (UW) и Нью-Йоркский (NYU) университеты представили SuperGLUE — комплекс тестовых задач на понимание языка, разработанный ими для оценки современных высокопроизводительных моделей ИИ.

SuperGLUE создавали, исходя из предпосылки, что модели глубокого обучения для диалогового ИИ «достигли потолка» и требуют постановки перед ними более серьёзных задач. За базовый уровень при оценке производительности авторы приняли модель BERT компании Google. В прошлом году BERT считалась одной из лучших по продуктивности, но с тех пор её обошли такие модели, как Microsoft MT-DNN, Google XLNet и Facebook RoBERTa. Многие из них частично основаны на BERT и обеспечивают производительность выше среднечеловеческого уровня.

В апреле 2018 года команда исследователей из NYU, UW и DeepMind подготовила эталонный тест General Language Understanding Evaluation (GLUE). По сравнению с ним SuperGLUE нацелен на более сложные задачи и должен стать стимулом к построению моделей, способных к пониманию неординарных языковых нюансов.

GLUE присуждает модели числовой балл, отражающий сводную производительность по девяти задачам понимания английского предложения для систем Natural Language Understanding (NLU), таких как Stanford Sentiment Treebank (SST-2), служащая для эмоциональной оценки онлайн-обзоров фильмов. RoBERTa сейчас возглавляет рейтинг GLUE, демонстрируя лучшую продуктивность на 4 из 9 задачах этого теста.

Новый пакет включает в себя восемь задач на способность системы ИИ следить за логикой рассуждений, распознавать причину и следствие, отвечать на вопросы «да» или «нет» после прочтения короткого отрывка. Кроме того, SuperGLUE содержит Winogender, инструмент для выявления гендерного предубеждения.

Список лидеров рейтинга SuperGLUE будет размещен на сайте super.gluebenchmark.com. Подробности о SuperGLUE можно прочитать в статье, опубликованной в мае на сервере arXiv и пересмотренной в июле.

Параллельно, NYU объявил о выпуске обновлённого инструментария Jiant в помощь разработчикам ИИ-моделей для понимания текстов общей тематики. Jiant базируется на PyTorch и настроен для работы с реализациями HuggingFace PyTorch моделей BERT и GPT от OpenAI, а также с тестами GLUE и SuperGLUE.


Вы можете подписаться на наш Telegram-канал для получения наиболее интересной информации

0 
 

Напечатать Отправить другу

Читайте также

 
 
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT