Исследователи разработали систему чтения мыслей для расшифровки нейронных сигналов, поступающих из мозга во время движения рук. Метод, описанный в журнале Applied Soft Computing , может использоваться человеком для управления роботизированной рукой через интерфейс мозг-машина (ИМТ).
ИМТ — это устройство, которое преобразует нервные сигналы в команды для управления машиной, такой как компьютер или роботизированная конечность. Существует два основных метода мониторинга нейронных сигналов при ИМТ: электроэнцефалография (ЭЭГ) и электрокортикография (ЭКоГ).
ЭЭГ показывает сигналы от электродов на поверхности кожи головы и широко используется, потому что она неинвазивна, относительно дешева, безопасна и проста в использовании. Однако ЭЭГ имеет низкое пространственное разрешение и обнаруживает нерелевантные нейронные сигналы, что затрудняет интерпретацию намерений людей по ЭЭГ.
С другой стороны, ЭКоГ является инвазивным методом , при котором электроды размещаются непосредственно на поверхности коры головного мозга под кожей головы. По сравнению с ЭЭГ, ЭКоГ может отслеживать нейронные сигналы с гораздо более высоким пространственным разрешением и меньшим фоновым шумом. Однако у этой методики есть несколько недостатков.
«ЭКоГ в основном используется для поиска потенциальных источников эпилептических припадков , а это означает, что электроды размещаются в разных местах у разных пациентов и могут не находиться в оптимальных областях мозга для обнаружения сенсорных и двигательных сигналов», — объяснил профессор Чжэ Сунг Чжон. ученый-мозг из KAIST. «Это несоответствие затрудняет декодирование сигналов мозга для прогнозирования движений».
Чтобы преодолеть эти проблемы, команда профессора Чонга разработала новый метод расшифровки нейронных сигналов ЭКоГ во время движения руки . Система основана на системе машинного обучения для анализа и прогнозирования нейронных сигналов, называемой «сетью эхо-состояний», и математической модели вероятности, называемой распределением Гаусса.
В ходе исследования исследователи записали сигналы ЭКоГ от четырех человек с эпилепсией, когда они выполняли задачу «дотянись и схвати». Поскольку электроды ЭКоГ располагались в соответствии с потенциальными источниками эпилептических припадков у каждого пациента, только от 22% до 44% электродов располагались в областях мозга, ответственных за контроль движения.
Во время задания на движение участникам давали визуальные подсказки , либо помещая перед ними настоящий теннисный мяч, либо с помощью гарнитуры виртуальной реальности , показывающей человеческую руку, вытянутую вперед в виде от первого лица. Их попросили потянуться вперед, схватить предмет, затем вернуть руку и отпустить предмет, при этом на запястьях и пальцах были надеты датчики движения. Во втором задании им было предложено представить, как они тянутся вперед, не двигая руками.
Исследователи отслеживали сигналы от электродов ЭКоГ во время реальных и воображаемых движений рук и проверяли, может ли новая система предсказывать направление этого движения по нейронным сигналам . Они обнаружили, что новый декодер успешно классифицировал движения рук в 24 направлениях в трехмерном пространстве как в реальных, так и в виртуальных задачах, и что результаты были по крайней мере в пять раз точнее, чем случайно. Они также использовали компьютерное моделирование, чтобы показать, что новый декодер ЭКоГ может управлять движениями роботизированной руки .
В целом результаты показывают, что новая система BCI на основе машинного обучения успешно использовала сигналы ЭКоГ для интерпретации направления предполагаемых движений. Следующие шаги будут заключаться в повышении точности и эффективности декодера. В будущем его можно будет использовать в устройстве ИМТ в режиме реального времени, чтобы помогать людям с двигательными или сенсорными нарушениями.
