Нейросеть применили для извлечения из мозга видеоинформации

В новом исследовании учёных из Университета Пердью (штат Индиана) конволюционные нейросети — алгоритм глубокого обучения, широко применяемый в последние годы для распознавания лица и объектов, впервые использовали для интерпретации реакции человеческого мозга на динамическое визуальное окружение.

Авторы получили 11,5 часов функциональной магнитно-резонансной томографии (фМРТ) трёх женщин, просматривавших 972 видеоклипа, где демонстрировались люди и животные в движении и картины природы.

Эти данные использовали, чтобы натренировать модель конволюционной нейросети предсказывать активность зрительной зоны коры головного мозга. Затем, обученную модель применили для декодирования данных фМРТ и реконструирования видео, в том числе незнакомого ей.

В испытаниях модель подемонстрировала способность с высокой точностью классифицировать декодируемые данные фМРТ, определяя тип контента, отображаемый на видео. «Например, водоплавающее животное, луна, черепаха, человек, птица в полёте, — рассказывает Хэйгуан Вэнь (Haiguang Wen), кандидат наук и первый автор статьи об этой работе, размещённой 20 октября в онлайновом журнале Cerebral Cortex. — Уникальность этой работы, по моему мнению, состоит в том, что декодирование происходит в реальном времени, пока подопытные смотрят видео. Мы сканируем мозг каждые две секунды и модель каждый раз обновляет свой визуальный опыт».

Учёные также показали, что модель, обученная на данных одного человека, может применяться для прогнозирования и расшифровки мозговой активности другого, смогли ассоциировать определённые места коры головного мозга со специфической информацией, воспринимаемой визуально, наблюдали как мозг в процессе анализа разделяет визуальную сцену на фрагменты и затем собирает их в образ с понятым контекстом.

По мнению авторов, их исследование является одним из предвестников новой эры, которая будет характеризоваться взаимным проникновением и обогащением двух важных областей: машинного обучения и нейрофизики.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365