`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Новая модель языкового перевода обучается самостоятельно

0 
 

Новая модель языкового перевода обучается самостоятельно

Системы перевода Google, Facebook и Amazon требуют обучать модели выявлению закономерностей в миллионах документов — юридических, политических, новостях — для которых имеется перевод, сделанный людьми. После этого для новых слов в одном языке эти системы могут подбирать подходящие слова и фразы на другом языке.

Но сбор образцов переводов это трудоемкое и отнимающее много времени занятие. Кроме того, для многих из 7 тыс. языков, на которых говорят в мире, таких данных может вообще не существовать. Для них разработаны моноязычные модели, которые делают переводы текста для языковых пар без образцов прямого перевода между ними.

В статье, представленной на конференции по эмпирическим методам в обработке естественных языков, исследователи из лаборатории искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) рассмотрели модель, которая работает быстрее и эффективнее этих моноязычных моделей.

В этой модели используется статистическое понятие дистанции Громова-Вассерштейна, которое сопоставляет точкам в одном вычислительном пространстве разнесённые на аналогичное расстояние точки в другом. Данная метрика была применена авторами к словам в двух языках, представляемым как векторы, причём, слова с близким смыслом располагаются ближе друг к другу. Наиболее хорошо коррелирующие по относительным дистанциям векторы в двух языковых пространствах и являются наиболее вероятным вариантом прямого перевода.

В экспериментах модель MIT была сопоставима по точности перевода с лучшими моноязычными моделями, а иногда и превосходила их. При этом она работала гораздо быстрее и расходовала намного меньше ресурсов процессора.

Этот метод, по мнению его авторов, может быть полезен для малораспространённых языков или диалектов, и является важным шагом к одной из главных целей машинного перевода: полностью автоматическому (без учителя) подбору словесных соответствий. «Если у вас нет данных, соотносящих два языка ... вы можете составить карты этих языков и, используя измерения расстояний, согласовать их между собой», — пишет первый автор статьи, Дэвид Альварез-Мелис (David Alvarez-Melis).

Кроме того, данная техника может применяться в лингвистических исследованиях, так как она позволяет получать количественную оценку степени сходства двух языков.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

0 
 

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT