Salesforce предложила универсальную модель обработки естественного языка

В статье, подготовленной исследовательским коллективом компании Salesforce.com предпринята попытка решить проблему, тормозящую прогресс в технологиях обработки естественного языка (NLP). Множество узкоспециализированных моделей они заменили одной, которая способна решать одновременно 10 отдельных задач NLP.

В интервью Ричард Соучер (Richard Socher) из Salesforce уподобил предложенную ими модель MQAN (Multitask Question Answering Network) швейцарскому ножу в том смысле, что исследователи NLP и разработчики интеллектуальных чатботов теперь могут использовать всего один инструмент вместо многих.

На десяти задачах разработанного авторами эталонного теста Natural Language Decathlon (decaNLP) — ответы на вопросы, машинный перевод, преобразование естественных фраз в структурированные запросы SQL, эмоциональный анализ, целенаправленный диалог, резюмирование документа, маркировка семантических ролей (кто, кому, что сделал, где и когда), выделение отношений, понимание местоимений и подразумеваемого смысла — MQAN показала способность переноса уже имеющегося опыта для решения абсолютно новых задач без предварительной тренировки.

«Большинство моделей не обеспечивают надежности при перефразировании или незначительных изменениях значения. Наша, даже если никогда не встречала ничего подобного, может это сделать», — отметил ещё один участник разработки MQAN, Брайан Макканн (Bryan McCann). Благодаря этому чатботы смогут лучше понимать фразы, не совсем совпадающие с теми, которым они были обучены, что лучше соответствует человеческой манере общения.

Salesforce планирует предоставить новую модель с открытым кодом, с тем чтобы дальнейшим её совершенствованием могло заняться сообщество Open Source.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365