Новая система помогает компьютерам «учить» естественный язык

Более 50 лет лингвисты и программисты пытаются заставить компьютеры понимать естественный язык с помощью программирования семантики.

Теперь исследователь лингвистики из Техасского университет в Остине проф. Кэтрин Эрк (Katrin Erk) использует суперкомпьютеры для разработки нового метода обучения компьютеров естественным языкам.

Вместо жесткого кодирования логики человека или использования словарей расшифровки для обучения компьютера языку, проф. Эрк решила попробовать различную тактику: «скормить» компьютеру обширный массив текстов (которые являются отражением человеческих знаний) и использовать неявные связи между словами, чтобы создать карту отношений.

«Интуиция подсказывала мне, что различные значения слова можно визуализировать как точки в пространстве, - пояснила проф. Эрк, которая проводит исследование в Центре передовых вычислений в Техасе. - Вы можете думать, что иногда они отстоят далеко друг от друга, как battery charge и criminal charges, и иногда близко друг к другу, как criminal charges и accusations (обвинения). Значение слова в частном контексте – это точка в этом пространстве. Тогда мы не должны говорить, сколько значений имеет слово. Вместо этого мы говорим, что использование этого слова близко к использованию его в другом предложении, но далеко от третьего».

           

Чтобы разработать модель, которая может точно воссоздать интуитивную способность отличить значение слова, требуется большие объемы текста и мощная аналитика.

«Начальным этапом для этого вида исследования может служить набор текстов из 100 миллионов слов, - объяснила она. - Если бы вы смогли дать мне несколько миллиардов слов, я была бы намного счастливее. Но как мы можем обработать всю эту информацию? Вот здесь суперкомпьютеры и выходят на сцену».