Распознавание речи по деятельности мозга

Речь генерируется в коре головного мозга человека. Волны мозга, связанные с речевыми процессами, могут быть непосредственно записаны с помощью электродов, расположенных на поверхности коры. Впервые было показано, что можно реконструировать базовые элементы, слова и полные предложения непрерывной речи из этих волн и генерировать соответствующий текст. Исследователи из KIT и Центра Уодсворта, США, представили свою систему "мозг-в-текст" в научном журнале Frontiers in Neuroscience.

"Уже давно рассматривался вопрос, может ли человек общаться с машинами только с помощью мозговой деятельности, - сказала Таня Шульц (Tanja Schultz), которая провела настоящее исследование со своей командой в Лаборатории когнитивных систем при KIT. - Наши недавние результаты, в качестве важного шага в этом направлении, показывают, что как единичные блоки в терминах звуков речи, так и непрерывно произносимые предложения могут быть распознаны на основе деятельности мозга».

Эти результаты были получены с помощью междисциплинарного сотрудничества исследователей в области информатики, неврологии и медицины. Методы обработки сигналов и автоматического распознавания речи были разработаны и применены в Карлсруэ. «В дополнение к расшифровке речи на основе деятельности мозга, наши модели позволяют провести детальный анализ областей мозга, участвующих в речевых процессах, и их взаимодействие», - отметил Кристиан Херф (Christian Herff) и Доминик Хегер (Dominic Heger), которые разработали систему "мозг-в-текст" в рамках своих докторских диссертаций. Настоящая работа является первой, которая декодирует непрерывную речь и превращает ее в текстовое представление. Для этого сигналы коры комбинировались с лингвистическими знаниями и алгоритмами машинного обучения для извлечения наиболее вероятной последовательности слов. В настоящее время система "мозг-в-текст" основана на звуковой речи. Тем не менее, результаты являются важным первым шагом для распознавания речи на основе только мыслей.

Деятельность мозга была записана в США у 7 больных эпилепсией, которые принимали участие добровольно в исследовании во время клинических процедур. Массив электродов помещался на поверхности коры головного мозга (электрокортикография) при неврологическом лечении. В то время как пациенты читали вслух образцы текстов, сигналы ЭКоГ были записаны с высоким разрешением во времени и пространстве. Позже, исследователи в Карлсруэ проанализировали данные для разработки системы "мозг-в-текст". В дополнение к фундаментальной науке и лучшему пониманию сложнейших речевых процессов в головном мозге система "мозг-в-текст" может быть строительным блоком в разработке средств речевой коммуникации для заблокированных пациентов в будущем.

Активность мозга регистрируется электрокортикограммой (синие круги). Из картины активности (синий/желтый), произнесенные слова могут быть распознаны