| 0 |
|
Группа ученых в Массачусетском технологическом институте (MIT) разработала нейронную сеть, которая может читать статьи, заполненные специальной терминологией, и составлять к ним простое резюме в одном или двух предложениях. О своей работе они рассказали в журнале Transactions of the Association for Computational Linguistics.
Нейронные сети в целом испытывают трудности с сопоставлением информации, разнесённой в больших массивах данных (или долговременных зависимостей), но именно это необходимо для «осмысления» научной статьи. Их способность к реальной обработке естественного языка ненамного улучшают и предлагавшиеся до сих пор методы, такие как долгая краткосрочная память (LSTM) и управляемые рекуррентные нейроны (GRU).
Команда MIT разработала альтернативный подход, который базируется не на перемножении матриц (как в большинстве обычных нейросетей), а на векторах, вращающихся в многомерном пространстве. Своей ключевой концепции они дали название Вращающийся Блок Памяти (Rotational Unit of Memory, RUM).
Такая система представляет любое слово в тексте вектором многомерного пространства. Каждое последующее слово разворачивает этот вектор в некотором направлении. В конце этого процесса, полученный вектор или набор векторов транслируется обратно в соответствующую последовательность слов.
«RUM помогает нейронным сетям очень хорошо делать две вещи — лучше запоминать информацию и более точно извлекать её из памяти», — говорит один из участников исследования.
В сравнительных испытаниях система RUM продемонстрировала значительное превосходство над нейросетью на базе LSTM: составленное ею резюме к одной и той же научной статье было гораздо более осмысленным и информативным.
Результаты экспериментов и предложенная в статье модель выложены в открытом доступе на GitHub, благодаря чему многие исследователи искусственного интеллекта и его приложений смогут применить их в своих собственных целях.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| 0 |
|
