| 0 |
|
Человеку нетрудно понять разницу в значении «charge» в контексте «charge a battery» (заряжать батарею) и «сriminal charge» (уголовные обвинения). Но для компьютера это сверхсложная задача. Более 50 лет ученые пытались добиться того, чтобы компьютер понимал человеческий язык. Изначально семантические системы разрабатывались с тем, чтобы автоматизировать перевод научных текстов с русского языка (пик таких проектов пришелся на времена холодной войны). Тем не менее, даже самая современная система Google Translate зачастую не справляется с задачей подбора верного термина. Для человека же выбор нужного значения происходит на интуитивном уровне.
«В прошлом ученые пытались создать код, описывающий, в каких случаях какое значение используется», — отмечает профессор лингвистики Университета Техаса в Остине (США) Кэтрин Эрк (Katrin Erk), — «но этот подход так и не стал успешным, слишком много тонкостей нужно описать». Некоторые пытались использовать словарные значения и просто натренировать машину понимать язык. Но оказалось, что тонкости значений в словарях понятны только их создателям, но не рядовому пользователю, при этом зачастую разные словари приводят разные значения слов.
Группа ученых под руководством профессора Кэтрин Эрк использовала совершенно иной подход, использовав прямые связи меду словами для создания значимых карт взаимосвязей между ними. В создаваемой модели ученые старались точно воспроизвести интуитивную способность различать значение слов. Разные значения слов представлялись в виде точек в пространстве огромной размерности (10 тыс.). Чтобы описать значение слова без словаря использовались парафразы, а система оценивала, насколько хорошо они используются для описания того или иного слова. В таком представлении неважно, сколько значений имеет слово, важно определить, насколько слово, используемое в предложении близко к тому или иному значению.
Предложение представлено в виде логической схемы, его слова представлены в виде точек в пространстве. Из схемы понятно, что «fix» используется в значении «correct» (исправлять), а не «attach» (присоединять)
Для построения модели потребовались огромные фрагменты текстов (не менее 100 млн слов) и большие вычислительные мощности. Исследования проводились с 2009 г., сначала на ПК, затем на суперкомпьютере Texas Advanced Computing Center (TACC). Доступ к Hadoop-оптимизированной подсистеме TACC позволил расширить область исследований.
Результаты работы будут опубликованы в журнале Intelligent Systems and Technology. Авторы разработки уже получили грант Управления перспективного планирования оборонных научно-исследовательских работ (DARPA) на интеграцию метода представления значений слов в многомерных пространствах с технологией построения структуры предложений на основе марковских сетей (Markov logic networks, MLN).
Kingston повертається у «вищу лігу» серверних NVMe SSD
| 0 |
|
