Интерфейс мозг-компьютер превращает нейронные сигналы в текст

Синдром «запертого человека», неврологическое заболевание, вызывающее полный паралич почти всех произвольных мышц, оставляет примерно одного человека из 100 000 неспособным к естественному общению. Однако, используя инструменты компьютерной визуализации функций мозга и специально разработанное программное обеспечение, исследователи позволили парализованным участникам снова общаться.

Один из методов компьютерно-опосредованной коммуникации использует мигающие «умозаключения», когда участник смотрит на экран с клавиатурой букв, мигающих с разной скоростью. Сосредоточение внимания на данной букве вызывает нейронный отклик в зрительной коре головного мозга, соответствующий частоте мигания, и путем измерения этого отклика с помощью электроэнцефалографии определяется целевая буква.

В качестве альтернативы интерфейсы мозг-компьютер (BCI) «наведи и щелкни» используют имплантированные интракортикальные электроды, которые измеряют нервную активность, чтобы визуализировать и контролировать движения курсора по экранной клавиатуре.

На сегодняшний день эти два метода достигли скорости передачи 60 и 40 символов в минуту соответственно. Теперь исследователи из Стэнфордского университета разработали новый BCI, основанный на воображаемом акте письма, который обеспечивает непревзойденную скорость 90 символов в минуту. Они описывают этот новый подход в статье, опубликованной в журнале Nature.

Исследователи протестировали свой BCI на одном участнике, выбранном из исследования BrainGate. Участник, известный как T5, был парализован ниже шеи в результате травмы спинного мозга, в результате чего у него не было функциональных движений руками. Во время пяти экспериментальных сессий команда записывала нервную активность T5 с помощью двух массивов микроэлектродов, которые были хирургическим путем имплантированы перед исследованием в область его мозга, соответствующую ручному управлению. Т5 был проинструктирован попытаться писать так, как будто его рука не парализована, представляя, как держит ручку над листом бумаги и пишет символы один поверх другого.

Команда использовала анализ главных компонент (PCA), метод уменьшения размерности больших наборов данных, чтобы визуализировать нейронную активность, записанную при «написании» отдельных символов, путем отображения трех верхних нейронных измерений с наибольшей дисперсией сигнала. Сигналы оказались повторяемыми в ходе испытаний, но имели вариации по времени, которые, как предполагалось, были вызваны разной скоростью рукописного ввода, которую необходимо было скорректировать.

Чтобы выявить рукописные символы, исследователи использовали средние значения по испытаниям одного и того же символа, чтобы расшифровать скорость кончика пера, отображая отчетливые и разборчивые буквы. Чтобы декодировать целые предложения, они обучили рекуррентную нейронную сеть (RNN), используя тысячи символов, написанных за несколько дней. В свою очередь, эта сеть превратила нейронную активность в вероятности того, что участник каждый раз напишет определенный символ.

Ученые исследовали три метода анализа измеренных сигналов. Во-первых, они использовали пороговое значение вероятностей для отображения отдельных символов, что позволило получить обратную связь на экране в реальном времени и привело к коэффициенту ошибок 5,4%. Во-вторых, они использовали языковую модель в качестве функции автозамены, что снизило частоту ошибок до 0,89%. После этих экспериментов они обучили новую RNN на всех доступных данных. Это привело к чрезвычайно высокой точности с низким уровнем ошибок 0,17%, что демонстрирует эффективность метода и достижимый предел высоких характеристик.

Этот новый метод BCI более чем вдвое увеличил скорость передачи данных, сохранив при этом точность, аналогичную BCI «наведи и щелкни», в которых используются аналогичные методы мысленной визуализации.

BCI, основанные на движениях, таких как «мысленное письмо», также имеют заметные преимущества перед визуальными интерфейсами, давая участникам свободу оглядываться и общаться в своем собственном темпе. Это исследование демонстрирует важный шаг вперед в развитии BCI для связи в реальном времени.

Интерпретированные рукописные символы из декодированных нейронных сигналов

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365