Учёные НИУ ВШЭ и МГМСУ им. А.И. Евдокимова разработали модель машинного обучения, которая предсказывает произнесенное слово на основе активности мозга, записанной небольшим количеством инвазивных электродов. Статья по итогам исследования опубликована в Journal of Neural Engineering. Работа выполнена при поддержке мегагранта правительства РФ в рамках нацпроекта «Наука и университеты».
Во всем мире миллионы людей имеют речевые нарушения, которые ограничивают их способность к повседневному общению. Причины потери речи могут быть разными — от перенесенного инсульта до врождённых заболеваний.
Современные технологии позволяют вернуть возможность коммуницировать. Например, интерфейсы безмолвного доступа считывают движения артикуляционных мышц, когда пациент произносит те или иные фразы беззвучно, одними губами, а затем превращают их в текст. Однако такие устройства помогают не во всех случаях. В частности, люди с параличом мускулатуры лица не могут их использовать.
Доступное и точное восстановление речевых функций могут обеспечить речевые нейропротезы — нейрокомпьютерные интерфейсы, которые декодируют речь на основе активности мозга. В отличие от привычного нам интерфейса персонального компьютера, в нейрокомпьютерных интерфейсах (НКИ) устройство получает команды напрямую от мозга человека, не требуя ввода через клавиатуру или микрофон.
Одно из препятствий к широкому использованию НКИ в протезировании речи — это их инвазивность, то есть необходимость установки электродов непосредственно на мозговой ткани, что требует хирургического вмешательства. Наиболее точное воспроизведение речи достигается нейропротезами, электроды которых считывают активность мозга с большой поверхности его коры. Однако такие устройства не обеспечивают долговременный электрический контакт с мозговой тканью, а их имплантация связана с высокими рисками для пациента.
Учёные Центра биоэлектрических интерфейсов НИУ ВШЭ и МГМСУ им. А.И. Евдокимова изучили возможность создать рабочий нейропротез, который сможет обеспечить приемлемую точность, считывая сигналы активности с небольшого участка коры головного мозга при помощи малого числа электродов. В будущем имплантация такого нейропротеза может быть выполнена даже под местной анестезией.
В ходе исследования использовались данные об активности мозга во время выполнения речевой задачи, полученные от двух пациентов с эпилепсией, которым были установлены внутричерепные электроды с целью выявления локализации эпилептического очага. Первому пациенту имплантировали пять стереотаксических ЭЭГ-стержней с шестью контактами в каждом, а второму — набор из девяти электрокортикографических (ЭКоГ) полосок с восемью контактами на каждой.
В отличие от ЭКоГ, сЭЭГ не требует удаления части черепа при установке, а имплантируется через просверленные в костях отверстия. Для декодирования речи из активности мозга использовались только шесть контактов с одного стереотаксического стержня или восемь контактов с одной ЭКоГ-полоски.
Во время эксперимента испытуемый в разном порядке читал вслух шесть предложений, а электроды регистрировали возникающую при этом электрическую активность мозга. Каждое из предложений повторялось от 30 до 60 раз. Все они имели разную грамматическую конструкцию и содержали созвучные слова (например, «Шура широко шагает в широких штанах»). Совокупно в предложениях встречалось 26 разных слов.
Сопоставив аудиозаписи с соответствующей им мозговой активностью учёные выявили паттерны, связанные с каждым из 26 слов. На их основе была составлена обучающая выборка из 27 классов (26 из них — слово + паттерн ЭЭГ/ЭКоГ, а также состояние покоя).
Затем данные из сформированной обучающей выборки передали в модель машинного обучения — нейросеть со специально разработанной учёными архитектурой. Задачей нейросети было предсказание слова (класса) на основе электрической активности мозга, предшествующей произнесению данного слова.
При разработке нейронной сети учёные сосредоточились на простоте, компактности и нейрофизиологической интерпретируемости её параметров. В итоге модель выполняла задачу в два этапа: сначала она извлекала из записанной электродами мозговой активности внутренние речевые представления, решая задачу предсказания мел-спектральных коэффициентов, а затем на основе этих представлений предсказывался конкретный класс — слово или состояние покоя.
В итоге для первого пациента обученная нейросеть смогла предсказывать слова с точностью 55% на основе сигналов активности его мозга, регистрируемых только одним сЭЭГ-стержнем с шестью контактами, и с точностью 70% для второго пациента на основе данных от одной ЭКоГ-полоски с восемью контактами. Полученная точность сравнима с результатами, которые в других исследованиях демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.
Помимо этого, вновь созданная интерпретируемая модель машинного обучения позволила в нейрофизиологических терминах объяснить, какая информация вносит наибольший вклад в предсказание слова. Исследователи проанализировали, сигналы от каких нейронных популяций оказались важнее всего для нейросети. Они совпали с зонами, обнаруженными ранее в результате проведённого врачами картирования областей мозга, ответственных за речевые функции. Это говорит о том, что модель использует действительно значимые мозговые сигналы и потенциально может быть использована и для декодирования воображаемой речи.
Другое преимущество разработанной нейросети в том, что она не потребовала ручного конструирования признаков. Модель сама научилась извлекать из мозговой активности речевые представления. Интерпретируемость найденных признаков позволила сделать вывод о том, что архитектура выполняет декодирование мозговых сигналов, а не сопутствующей активности, как, например, электрические сигналы от артикуляционных мышц.
Использование таких интерфейсов сопровождается минимальными рисками для пациента. Если всё получится, то воображаемую пользователем речь можно будет декодировать, считывая активность мозга при помощи небольшого числа минимально инвазивных электродов. Они будут имплантироваться в амбулаторном режиме под местной анестезией.
IQ
Автор текста: Анастасия Лобанова
Алексей Осадчий
Руководитель исследования, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук НИУ ВШЭ