Машинный перевод: преодолевая языковые барьеры

2 март, 2005 - 00:00Константин Носов

Краткий исторический экскурс

История умалчивает о том, кому первому пришла в голову идея автоматизации перевода с одного языка на другой. Возможно, о чем-то подобном задумывались еще античные мыслители, выдвинувшие немало гениальных догадок на заре человеческой цивилизации. Известно, что такими мыслями задавался Лейбниц, однако состояние науки того времени не позволило этому выдающемуся ученому даже по-настоящему поставить задачу.

Впервые с действительно научных позиций к решению проблемы машинного перевода подошел Чарльз Бэббидж, разработавший в 1836--1848 гг. проект цифровой аналитической машины -- механического прототипа ЭВМ. Главная идея состояла в том, чтобы для хранения словарей использовать память объемом в тысячу 50 разрядных десятичных чисел (которые должны были определяться положением соответствующих зубчатых колес). Проект, к сожалению, так и не удалось претворить в жизнь, правда, сомнительно, что его воплощение на механической основе дало бы какие-то ощутимые результаты.

Первая успешная реализация системы машинного перевода связана с "Джорджтаунским экспериментом", осуществленным на машине IBM-701 в 1954 г. Программное и лингвистическое обеспечение этой попытки было весьма скромным: словарь состоял из 250 слов, а грамматика -- из 6 синтаксических правил. Интересно, что перевод делался с русского языка на английский, и, возможно, этим объясняется последующая резкая активизация разработок в данной области в СССР. Уже к концу 1955 г. в Институте научной информации Отделения прикладной математики МИАН СССР и некоторых других академических центрах были созданы и прошли тестирование программы машинного перевода на существовавшей тогда вычислительной базе (БЭСМ и "Стрела").

Первые успехи вызвали большое воодушевление среди специалистов и породили настоящую эйфорию. Было создано несколько глобальных научно-технических проектов, замахнувшихся на полное решение проблемы перевода для современных языков, и огромное количество небольших -- для отдельных направлений. К сожалению, сложность этой задачи оказалась значительно выше, чем предполагалось. Вскоре всеобщее разочарование привело к тому, что в 1967 г. специально созданная комиссия Национальной академии наук США объявила машинный перевод неперспективным и не заслуживающим финансирования.

Тем не менее интерес к данной тематике не угасал никогда, и новый всплеск разработок пришелся на 1980 е годы. Он прежде всего был связан с совершенствованием вычислительной техники, общим развитием кибернетики и особенно успехами в такой ее области, как искусственный интеллект. Опять появляются глобальные проекты с солидными бюджетами, среди которых можно назвать такие, как EU ROTRA (Европейское экономическое сообщество), ARIANE (Франция), METAL (США и Германия), KANT (США) и др. Однако, как и двумя десятилетиями раньше, ни одно из решений не было доведено до массового применения.

Показательно, что первые коммерческие продукты выросли как раз из локальных проектов, имевших менее амбициозные цели. Из первых действительно массовых систем можно назвать Power Translator (компания Globalink), Language Assistant (компания MicroTac) и TRANSEND (компания Intergraph). К этому же классу относится и хорошо знакомое отечественным пользователям семейство приложений STYLUS, разработки которого пришлись на стык 80--90-х годов прошлого столетия.


Как переводит компьютер

Если сегодня о машинном переводе слышали практически все, то совсем немногие имеют достаточно ясное представление о том, на чем же основана эта технология.

Первые системы базировались на алгоритмах последовательного перевода "слово за словом" или "фраза за фразой". Их возможности определялись размерами словарей, прямо зависящими от объема памяти компьютера. Перевод осуществлялся отдельными фразами, смысловые связи между которыми практически не учитывались. Такая методика получила название прямого перевода.

Естественно, основные усилия разработчиков в эпоху создания систем этого класса были направлены на оптимизацию структуры словарных статей и самих словарей и повышение эффективности доступа к ним. Однако в дальнейшем стало ясно, что наличие даже самого полного и совершенного словаря не решает проблемы. Оказалось, что для адекватного перевода необходимо работать на более высоком уровне синтаксических структур.

Между тем традиционная лингвистика того периода не располагала идеями и представлениями, нужными для построения систем машинного перевода, как в части синтаксиса, так и в части семантики. Ни для одного языка не существовало перечней грамматических конструкций, не были изучены условия их сочетаемости и взаимозаменяемости, не удалось формализовать правила построения крупных синтаксических единиц из более мелких. В сущности, ни на один вопрос, поставленный в связи с данной проблематикой, традиционная лингвистика 1950 х годов не могла дать ответа.

Потребность в создании теоретической базы машинного перевода привела к формированию нового направления в лингвистике, называемого прикладной или математической лингвистикой. Мы не будем здесь описывать основания этой дисциплины и ее научный аппарат, укажем лишь, что для компьютеризации перевода важное значение сыграла одна из областей математической лингвистики -- формальная теория грамматик. Ее развитие позволило не только решить многие практические и теоретические проблемы машинного перевода, но и дало возможность с совершенно новых позиций подойти к вопросам создания языков программирования и другим важным задачам искусственного интеллекта.

Вместе с развитием машинного перевода как области прикладной лингвистики возникла и глобальная классификация систем, согласно которой их принято делить на два типа -- Transfer и Interlingua. Это разделение основано на архитектурных особенностях.

Лингвистические алгоритмы перевода для систем типа Transfer строятся как композиция трех процессов: анализа исходного предложения в терминах входного языка, преобразования полученной структуры в аналогичную для выходного языка (собственно процесс Transfer, т. е. перенос) и затем синтеза результирующего предложения по ней.

В свою очередь системы типа Interlingua предполагают наличие некоторого метаязыка (в прямом смысле -- Interlingua, т. е. нечто вроде языка-посредника), на котором можно описать все структуры как входного, так и выходного языков. Поэтому алгоритм перевода в Interlingua выглядит более просто: анализ исходного предложения в терминах метаязыка и затем синтез по метаструктуре предложения на выходном языке. Главная проблема в этом случае состоит именно в разработке метаязыка и формального описания его в терминах языка естественного. Надо сказать, что пока не создано ни одной реально работающей системы типа Interlingua, но специалисты предполагают, что в будущем, по мере совершенствования знаний в данной области, они займут достойное место среди прочих технологий.

Перспективы машинного перевода тесно связаны с дальнейшим развитием таких научных направлений, как сравнительное языкознание, общая теория перевода, теория закономерных соответствий и способов представления знаний, а также с оптимизацией и совершенствованием лингвистических алгоритмов. Повысить качество перевода лексических единиц помогут строгие теории терминологизации лексики, а формальные грамматики, ориентированные на перевод, дадут возможность улучшить алгоритмы нахождения переводных соответствий в конкретном контексте, который может быть описан в рамках прикладных теорий представления знаний. И наконец, появление новых технологий программирования и очередных поколений вычислительной техники обязательно будет способствовать дальнейшему развитию теории и практики компьютерного перевода.


Классификация систем машинного перевода

Существует несколько подходов к классификации современных систем машинного перевода, исходя из разных критериев. Например, Ларри Чаилдс (Larry Childs), признанный специалист в данной области, предложил различать их в зависимости от степени участия человека в процессе перевода. Согласно этому критерию все системы делятся на три типа:

FAMT (Fully-Automated Machine Translation) -- полностью автоматизированный машинный перевод;

HAMT (Human-Assisted Machine Translation) -- машинный перевод с участием человека;

MAHT (Machine-Assisted Human Translation) -- перевод, осуществляемый человеком с привлечением программных средств.

Другая классификация привязывается к особенностям программной реализации и использованию тех или иных специфических инструментов:

Машинный перевод. Это наиболее массовая и востребованная группа, представленная в основном самостоятельными приложениями, которые предназначены, как правило, для полностью автоматизированного перевода (FAMT), -- пользователю нужно лишь задать направление перевода и иногда его тематику. Главным требованием к продуктам данного класса является качество перевода, отчасти скорость процесса и прочие потребительские характеристики вроде удобства интерфейса, интеграции с другими средствами обработки документов (текстовыми процессорами, браузерами, почтовыми клиентами), развитые инструменты пополнения словарной базы;

Translation Memory. Продукты этого класса обычно позиционируются как вспомогательный инструментарий переводчика, что отождествляет их с упомянутыми MAHT. Суть их состоит в накоплении и повторном использовании эталонных переводов часто употребляемых лексических и грамматических конструкций. Обычно такие приложения применяются не для работы со связными текстами, а для решения частных технических задач (локализации программных продуктов, создание терминологических баз данных) либо промышленного перевода типовых документов (инструкций, договоров);

Контролируемый язык и машинный перевод на основе базы знаний. В таких системах реализован переход от свободного входного языка к контролируемому входному языку, что предусматривает определенные ограничения лексики, грамматики и семантики. Тем самым упрощается структура исходного текста, за счет чего повышается точность и качество перевода;

Инструменты для перевода в Интернете. К ним относят онлайновые службы, позволяющие работать как с фрагментами текста (собственно переводчики), так и с отдельными словами (словари). Преимущество данных инструментов состоит в том, что пользователь оперативно получает перевод непосредственно в окне браузера, без установки каких-либо дополнительных программных средств и, как правило, бесплатно. Некоторые компании, кроме того, предлагают услуги по машинному переводу с различной степенью участия человека и зависящей от этого стоимостью услуги.


Основные разработчики и продукты

Машинный перевод представляет собой одну из самых наукоемких сфер в мировой индустрии программного обеспечения. Поэтому неудивительно, что здесь давно определились свои лидеры -- как в международном, так и национальном масштабах.

Разумеется, в небольшом обзоре сложно подробно рассказать о разработках даже основных производителей систем компьютерного перевода, но, вероятно, в этом и нет особого смысла, поскольку базовые сведения заинтересованный читатель без труда найдет в Интернете. К наиболее известным компаниям относятся SYSTRAN, TRADOS, LOGOS (все из США), STAR (Швейцария) и некоторые другие. Отдельные продукты этих фирм включают поддержку русского языка (в большинстве случаев не выдерживает критики), однако основное внимание все-таки уделено европейским языкам и японскому.

Несколько детальнее стоит остановиться на системах, разрабатываемых в России и Украине, в силу того что они наиболее уверенно работают с русским и украинским языком. При этом необходимо отметить, что славянские языки имеют свои характерные особенности, в частности свободный порядок слов и развитую систему флексий, которые создают дополнительные сложности для качественного компьютерного перевода. Впрочем, они (сложности) не являются непреодолимыми, что и доказывают лидеры рынка.

Пожалуй, больше всего известны у нас приложения семейства PROMT, обеспечивающие перевод с русского на английский, испанский, немецкий, французский, итальянский и обратно. В "Компьютерном Обозрении" довольно подробно рассматривались продукты новой линейки 7.0, поэтому здесь остается лишь отметить, что высокое качество работы PROMT и его универсальность в первую очередь связаны с использованием научно обоснованных лингвистических технологий и с оптимальной архитектурой программы, позволяющей решать задачу перевода на нескольких уровнях.

К сожалению, PROMT не поддерживает украинский язык, но данная проблема в определенной мере решается отечественными компаниями. Прежде всего заслуживает упоминания система перевода Pragma, которая благодаря своей оригинальной архитектуре является в определенном смысле "языконезависимой". Во всяком случае разработчики утверждают, что формирование новых направлений перевода происходит автоматически при добавлении словаря для любого языка, родственного английскому или русскому. До последнего времени в Pragma 3.0 поддерживались четыре языка -- английский, русский, немецкий и украинский, а недавно была объявлена специальная версия с поддержкой латвийского. Еще один отечественный лингвистический пакет ProLingOffice включает программу "ПЛАЙ", которая была создана при участии специалистов Института языкознания НАН Украины и обеспечивает перевод с русского на украинский и обратно. Отметим также, что разработчики всех упомянутых программ поддерживают онлайновые службы, с помощью которых и можно оценить качество их систем.


Вместо заключения

Несмотря на то что системы компьютерного перевода достигли достаточно высокого уровня развития, дискуссии о целесообразности их создания и применения не утихают. Нередко приходится слышать, что программы-переводчики работают из рук вон плохо, поэтому лучше обходиться без них. Надо сказать, что доля истины в этих отзывах есть. Существующие системы компьютерного перевода показывают приемлемые результаты лишь для родственных языков, и даже самые лучшие из них иногда выдают полную бессмыслицу при переводе реальных текстов. Так стоит ли вообще их применять?

Как ни удивительно, но популярность компьютерных переводчиков, по-видимому, свидетельствует об их полезности и востребованности. Поэтому вопрос, видимо, нужно ставить несколько по-иному: когда и для каких целей имеет смысл их привлекать? Ясно, что программа заменить квалифицированного переводчика ни сегодня, ни даже в ближайшей перспективе не сможет. В наше время разработчики и пользователи данных систем склонны говорить не о качественном переводе, а качественном черновом переводе, заведомо предполагая, что полученный текст нуждается в дополнительном редактировании. Таковы реалии дня сегодняшнего.

Однако в завершение хотелось бы сказать, что уже достигнутый уровень компьютерного перевода и динамика развития отрасли позволяют с оптимизмом смотреть на будущее данного направления. Переход от чернового качества к профессиональному произойдет не сразу, на этом пути встретится еще немало препятствий, и все-таки осмелимся предположить, что данная цель, в принципе, достижима и со временем компьютер сможет переводить почти так же, как человек.

E-mail автора: [email protected]