интерфейс мозг компьютер это

Н — нейроинтерфейс: как управлять гаджетами силой мысли

Что такое нейроинтерфейсы и какими они бывают

Нейроинтерфейс или интерфейс «мозг-компьютер» — это название технологии и устройства, которое позволяет передавать информацию из мозга прямо на внешнее устройство. В качестве таких устройств могут выступать смартфон, компьютер, умный дом, протезы и любые другие электронные устройства.

Управление чем-либо силой мысли не подразумевает никакой мистики: нейроинтерфейс просто регистрирует электрическую активность мозга и преображает ее в команды для внешних устройств. Эта технология использовалась еще в прошлом веке — медицинский прибор для электроэнцефалограммы (ЭЭГ) работает именно так.

Существующие нейроинтерфейсы бывают трех видов: неинвазивные, малоинвазивные и инвазивные. Первый тип устройств располагают на поверхности головы — как, например, в VR-играх. Малоинвазивные нейроинтерфейсы находятся на поверхности мозга, а инвазивные вживляют внутрь мозга. Их часто используют в медицине — например, чтобы вернуть подвижность парализованным людям или даже улучшить память.

Будущее интерфейса «мозг-компьютер»

Сейчас самый известный проект среди инвазивных нейроинтерфейсов — Neuralink Илона Маска. Это чип размером меньше монеты, который должен вживляться в мозг и улучшать его работоспособность. Он также сможет передавать музыку и даже позволит носителям общаться телепатически. Пока этот чип тестировался только на животных, в том числе свиньях, — и те перенесли имплантацию успешно.

Стартап Synchron, конкуренты Маска, получил разрешение на тестирование своего мозгового чипа Strentode на людях раньше, чем Neuralink. Их устройство помогает парализованным людям силой мысли управлять компьютером. Если испытания пройдут успешно, продукт может появиться на рынке уже через 3–5 лет. Скорее всего, уже в скором будущем нейроинтерфейсы смогут значительно облегчить жизнь парализованным людям, помочь в борьбе с деменцией и болезнью Альцгеймера.

Источник

Нейроинтерфейсы сегодня

Со времён изобретения манипулятора «мышь» прошло полвека, и это по-прежнему один из основных способов взаимодействия человека с компьютером. Я поехал на конференцию в Институт когнитивных нейронаук ВШЭ, чтобы узнать о последних достижениях в области BCI, которая находится за горизонтом, и поэтому так интересна.

Отчет о конференции я переработал в статью для связанного повествования. Какие-то моменты упрощаю и опускаю, а какие-то дополняю из своих наблюдений и отчетов с других мероприятий. Прочитав ее, я надеюсь, у вас появятся общие понимания подходов к BCI и текущего состояния в этой области. За оригинальными трактовками лучше обращаться к оригинальным статьям, к счастью, почти все в открытом доступе.

История

История BCI началась в 1973 году с публикации Toward direct brain-computer communication [1], где Jacques Vidal изложил идеи в коммуникации между человеком и машиной и описал лабораторию по анализу EEG сигнала для таких целей. Спустя десятилетие Wolpaw сфокусировал применение BCI на помощи парализованным людям и описал принципиальную схему BCI [2]:

Основные реализации BCI давали возможность вводить текст людям c синдромом изоляции. Это были сложные в использовании системы, потому что пользователь должен проходить долгую тренировку [3], в противовес, появились «спеллеры» на основе распознавания P300 — компонента, который возникает в момент, когда человек совершает выбор, которые снизили требования к пользователю [4].

В 90-е тема все более становится известной, особенно с появлением техник машинного обучения [5]. С увеличением надежности BCI люди интересуются расширением применения в новые области.

Thorsten Zander предложил следующую классификацию BCI [6]:

Отдельно стоит рассмотреть вопрос стимуляции мозга, эта тема, хоть и не относится напрямую к BCI, но представляет собой связанную технологию, которая расширяет возможности BCI для контроля.

Также BCI можно классифицировать по способу получения сигнала:

EEG самый распространённый способ получения сигнала, поэтому, если не указано обратное, я имею его в виду по умолчанию.

Активные BCI

Basketparadigm

Это условное обозначение возможности контроля путем активации воображаемых движений. Дело в том, что моторная кора компактно расположена в центре головы, поэтому воображаемые движения разных частей тела хорошо классифицируются и используются для построения BCI. Пользователю, для работы с такими BCI, необходимо мысленно представлять как он совершает движения разными частями тела.

Для облегчения проведения экспериментов ученые разрабатывают собственные фреймворки, например, BCILAB. С его помощью провели эксперимент, чтобы продемонстрировать скептику возможность управления c помощью воображаемых движений. Результат составил 80% – так себе результат в условиях, когда у человека есть привычные альтернативы, но заслуживает высокой оценки, особенно, для неподготовленного респондента [7].

Этот же подход применили для управления горизонтом для авиасимулятора. Результаты неоднозначные, для 3-х респондентов удалось добиться результата в 94%, еще для 4-х 64% и меньше 60% еще для троих. Успех заключается в том, что первая троица управляла самолетам так же, как это делается штурвалом. Остальные пилоты недостаточно сосредоточились на внутреннем состоянии и совершали мускульные движения, что вносило негативный вклад в управление.

Системы реабилитации

BCI, которые распознают моторные команды, хорошо изучены и уже используются для реабилитации пациентов переживших инсульт: для восстановления разорванных связей необходимых для управления парализованными конечностями. Павел Бобров продемонстрировал результаты клинических испытаний реабилитационного комплекса для восстановления моторных функций рук, которые доказали эффективность использования. Причем, есть значимая разница для пациентов, кто начал реабилитацию спустя месяц и спустя 6 месяцев после инсульта, чем раньше начинается реабилитация, тем лучше эффект. [11]

Глава g.tec Gunter Edlinger рассказал о работе специальных тренажерных залов для реабилитации, интересный момент, что в процесс реабилитации добавлена электростимуляция конечностей, и если выше использовалась электро-механическая установка, то здесь стимуляция током, что снижает стоимость комплекса.

Если добавить в процесс элементы игры и соревнования, вовлечение будет выше, а значит пациент лучше пройдет через реабилитацию. В центре биоэлектрических интерфейсов ВШЭ под руководством Алексея Осадчего разработали прототипы для улучшения процесса реабилитации. На видео демонстрируется прототип системы для двух человек, где они управляют сосудом, выполняя воображаемые моторные команды, пытаясь склонить сосуд в свою сторону:

Или, например, алгоритм распознавания почерка по мышечной активности с помощью компактного массива электродов позволяет реконструировать написанное: [12]

Вершина в их работе – это работа над BCI в проекте ExoAtlet, который позволяет людям с ограниченными возможностями передвигаться самостоятельно или использовать его для реабилитации.

Инвазивные BCI – это более сложная тема, и сейчас эксперименты проводятся на животных или на людях, которым электроды установлены по медицинским показаниям. Была освещена серия исследований, которая показала, что возможно определять не только единичные компоненты (имеются ввиду все те же вымышленные движения), но и разделять движение, внимание, направление взгляда между собой. Доступна запись аналогичного доклада с конференции в Самаре.

Реактивные BCI

Классический пример реактивного BCI это «спеллер» на эффекте P300, это «волна», которая появляется в ответ на выбор показанного стимула, ну а в «спеллере», таким стимулом служит определенным образом кодированные символы алфавита или команды. Пользователь должен мысленно взаимодействовать со стимулами, которые показывает система – считать количество вспышек выбранного символа.

Нельзя не упомянуть о проекте Нейрочат, который позволяет общаться людям с ограниченными возможностями:

Пассивные BCI

Базовая идея пассивных BCI – это оценка состояния человека, например, оценка когнитивной нагрузки (workload), она может быть применена в системах обучения, было проведено исследование, чтобы решить эту задачу.

Классификатор тренировали на следующих задачах:

Точность алгоритма составила 70%. Классификатор протестировали на других задачах (умножение, игра в скрембл), и получили аналогичную точность, тем самым подтвердили факт, что можно сделать независимым классификатор от человека и задач. [13]
Эту идею можно применить для контроля хирурга во время операции [14]. Решалась задача определения нагрузки на хирурга во время выполнения разных по сложности манипуляций на тренажере. Система научилась определять каким способом хирург выполняет операцию с высокой точностью.

Еще один вариант – это измерение степени расслабления. На основе состояния посетителя интерактивной инсталляции в «Музее молчания» создавалась живая картина, которая отражала его внутреннее состояние. [15]

Пассивные BCI можно использовать и для задач управления, довольно оригинальный подход предоставить человеку не непосредственный контроль за курсором, а лишь право судить о том, движется ли курсор по правильному пути к цели. Эксперимент был проведен на небольших матрицах размером 4х4 и 6х6 точек. Сначала систему тренировали на произвольном движении точки, и задача человека была определять в правильную ли сторону движется точка, далее тестировали в живом режиме и получили, что результат близок к оптимальному пути. [16] Можно посмотреть демонстрацию.

Midas touch problem и E-BCI интерфейсы

Управление курсором с помощью направления взгляда – простая задача, которая решается с помощью eye-tracker’инга (он же видеоокулография). Но в этих интерфейсах есть проблемы, например, непроизвольные движения глаз и проблема выбора, к слову, весьма символично ее называют проблемой прикосновения Мидаса – фригийского царя, любое прикосновение которого, обращало предмет в золото. Применений пассивных BCI позволяет решать эти проблемы.

Подход, где активный BCI использовался для совершения выбора при управлении с помощью eye-tracker’а, известен давно, но не отличается быстродействием. Исследование, где респонденты оценивали разные способы выбора по шкале NASA TLX, показало, что вариант с BCI не быстрее по времени, чем вариант с долгой фиксацией для выбора объекта, но при этом BCI вызывает меньшую степень фрустрации [10].

Дальнейшая работа команды Торстена Цандера показала, что можно отличать сознательную фиксацию на объекте от бессознательной с точностью 90%[17]. Для эксперимента использовалась парадигма «Oddball» – респондент просматривал серию из фигур, содержащих фигуру, которую он хочет выбрать в сочетании с отвлекающими фигурами.

Сергей Шишкин рассказал о улучшении вышеописанного подхода [8]. Существенный плюс их решения – это снижение скорости выбора до 300мс-500мс, что требует очень быстрой классификации, для этого использовали EEGNet [9].

Механизмы внимания – это отдельная тема, которая может расширить области применения BCI и создавать системы для реабилитации пациентов с СДВГ, о базовой идее рассказывает Mehdi Ordikhani в своем Tedtalk

Стимуляция

И целая группа исследований инвазивных интерфейсов от Михаила Лебедева на макаках-резус: был построен интерфейс мозг-компьютер-мозг, который позволял, управляя виртуальными конечностями, получать тактильную обратную связь. Можно подробнее посмотреть отрывок из лекции «Интерфейс между мозгом и компьютером».

Царство Deep Learning

Кроме того, что алгоритмы «глубокого обучения» позволяют добить и так уже высокую точность «машинного обучения», можно отметить то, что люди работают над «обратной задачей». Основываясь на быстрых данных EEG и MEG можно попытаться восстановить реальную активацию нейронов в мозге, которую сейчас показывает, например, метод fMRI, но с очень низким временным разрешением. Можно только порадоваться оптимизму и верить в скорый успех этой работы.

Еще одна проблема BCI на основе EEG или MEG – это то что результаты активности в разных областях мозга для одних и тех же компонент различаются среди пользователей, приходится учить нейросеть для каждого пользователя и задачи, что усложняет работу с системой и делает ее дороже. Тем не менее, здесь возможны изменения с «переносом обучения», когда нейросеть использует данные разных пользователей/в разных задачах и дообучивается онлайн, в результате этап калибровки может быть пропущен. [19]

Hardware

Наконец-то, мы добрались до железок!

Тут важно сказать про 2 момента, с одной стороны, оборудование для BCI довольно громоздкое, человек в нем привлекает внимание, в одном из выступлений были продемонстрированы миниатюрные электроды, такие что человек в них ничем не выделяется. [20]

К сожалению, вставить фото большего размера возможности нет, но вы можете посмотреть через гугл фото.

Несмотря на всю миниатюрность, устанавливать эти электроды не удобно, придется приклеивать каждый отдельный электрод. Для ускорения используют различные приспособления:

Относительно свежая идея – это массивы из электродов CeeGrid, для крепления в области уха, которые одновременно и невидимы, и легко устанавливаются, но существенный минус это ограниченность применения, хотя есть работы, которые показывают, что использовать этот вариант для ERP BCI реально [21].

И вторая проблема – это необходимость в токопроводящем геле для качественного сигнала, тут показано, что различия допустимые, и использование сухих электродов оправдано [22], но все зависит от количества волос. Над этим вопросом так же работают, например, недавно Florida Research Instruments начала продавать удлинненный сухой электрод (на картинке ниже он слева), который отличается от первоначальной версии большей округлостью пинов и, как вы понимаете, вызывает меньше негативных ощущений у пользователей. Еще более продвинутые варианты – когда сами пины на электродах снабжены амортизацией, благодаря материалу или с помощью пружин (на картинке ниже они в центре и справа).

Заключение

Распространение BCI в массы не будет быстрым и легким, сейчас открыты весьма ограниченные возможности по пониманию состояний мозга, но прогресс в этой области нельзя игнорировать. Главное, что есть правильная тенденция на снижение стоимости устройств/предоставление устройств по подписке и появление проектов, которые ориентированы на энтузиастов.

Лично меня очень радует то, что среди раскрученных Emotive, MUSE, OpenBCI начинают появляться и российские проекты. На недавнем Нейрофоруме, который прошел в Петербурге, были продемонстрированы:

Расширение доступных устройств делает область интерфейсов привлекательной для изучения и экспериментов. Порог вхождения низкий, всегда можно найти адекватную задачу, а улучшать алгоритмы можно до упора, приобретая новые знания и навыки. Чего я вам и желаю.

Такой я увидел область BCI, посмотрим, что интересного будет в следующем году.

UPD исправлено описание EBCI интерфейсов, по ошибки они были отнесены к активным BCI, что не соответствует действительности

Источник

Как работают нейрокомпьютерные интерфейсы

Технологии, которые еще вчера казались научной фантастикой, довольно быстро входят в нашу жизнь. Один из примеров — нейрокомпьютерные интерфейсы

Мы живем в довольно интересное время, когда технологии, которые еще вчера казались научной фантастикой, сегодня постепенно входят в нашу жизнь. Или как минимум они делают первые робкие шаги к этому. Одним из примеров являются технологии нейрокомпьютерных интерфейсов. С одной стороны, это всего лишь еще один способ взаимодействия человека и машины, а с другой — нечто более революционное.

Современные способы управления компьютером — это мышка, клавиатура, сенсорный экран. Постепенно в жизнь входит управление через жесты, голосом. Компьютер уже умеет следить за нашими зрачками, за направлением нашего взгляда. Следующий этап взаимодействия человека и машины — это прямое считывание сигналов нервной системы, то есть нейрокомпьютерные интерфейсы.

С чего все началось?

Теоретические работы в этом направлении базируются на фундаментальных трудах И.М. Сеченова и И.П. Павлова — авторов теории условных рефлексов. В России активная разработка теории, лежащей в основе работы подобных устройств, началась еще в середине XX века, практические исследования велись уже в 70-х годах XX века как в России, так и за рубежом.

В те далекие годы ученые развлекались тем, что вживляли мартышкам разные датчики и заставляли силой мысли управлять клешнями роботов, чтобы есть бананы. Что самое интересное, у обезьян это получалось.

Как говорится, есть захочешь — и не так извернешься. Основной проблемой было, что в нагрузку к роботу и датчику прилагался небольшой шкафчик с электроникой, который занимал целую комнату.

Сейчас в этом смысле стало проще, миниатюризация сделала свое дело. И теперь каждый уважающий себя гик может почувствовать себя в роли мартышки. Я уже не говорю о реальной пользе, которую эти устройства могут и должны принести инвалидам и парализованным. Но обо всем по порядку.

Как это работает?

Если очень упростить, то нервная система человека во время работы порождает, передает и обрабатывает электрохимические сигналы в разных частях организма. И электрическую составляющую этих сигналов можно попытаться «прочитать» и интерпретировать.

Для этих целей можно использовать разные способы, которые имеют свои достоинства и недостатки. Например, можно снимать сигналы при помощи магнитно-резонансной томографии (МРТ), но приборы слишком громоздкие.

Можно постоянно вводить специальные вещества-маркеры, но тем самым можно навредить организму. Наконец, можно накладывать или вживлять небольшие датчики в определенные части тела. Именно использование таких датчиков и образует так называемые нейрокомпьютерные интерфейсы.

В повседневной жизни подобное устройство мы можем встретить в кабинете невропатолога. Оно представляет собой резиновую шапочку с большим количеством проводов и датчиков. Это диагностическое устройство, но никто не мешает приспособить его для других нужд.

Следует различать нейрокомпьютерные интерфейсы и «мозгокомпьютерные» интерфейсы. Вторые являются лишь частным случаем первого и имеют дело только с головным мозгом. Нейроинтерфейсы взаимодействуют со всем телом. По сути, мы имеем опосредованное или прямое подключение к нервной системе человека, через которое мы можем получать и посылать некие сигналы.

Можно по-разному «подключиться» к человеку. Все зависит от датчиков. Например, по степени погружения датчики бывают:

Для улучшения качества сигнала датчики могут дополнительно смачивать специальными жидкостями, проводить первичную обработку сигнала «на месте» и так далее. Далее считанные сигналы обрабатываются специализированным программно-аппаратным обеспечением и в зависимости от целей выдают тот или иной результат.

Где можно использовать?

Самое первое, что приходит в голову, — научные исследования. Если обратиться к ранним работам, то в основном это эксперименты на животных. Собственно, с этого все и началось, как уже говорилось выше: мышам и обезьянам вживляли небольшие электроды и смотрели за активностью тех или иных областей мозга и частей нервной системы. Полученная информация давала возможность глубокого изучения протекающих в мозге процессов.

Далее — медицинские цели. Подобные интерфейсы уже нашли применение в медицине в виде диагностических медицинских приборов для невропатологов. Если результат выдается непосредственно испытуемому, то может включиться в работу так называемая биологическая обратная связь.

Включается дополнительный канал саморегуляции организма, когда физиологическая информация предоставляется пользователю в доступном виде, а он учится управлять своим состоянием на ее основе. Подобные приборы уже существуют и используются.

Наш коллега, вжививший биочип себе в руку, продолжает рассказывать о своих экспериментах: http://t.co/uvUV1y2OSF pic.twitter.com/Jv99i8XpwL

Перспективным направлением считается нейропротезирование, где достигнуты отдельные успехи. В случае невозможности восстановить поврежденные проводящие нервы в парализованной конечности можно вживить электроды, которые будут проводить сигналы к мышцам. Сюда же относится подключение к нервной системе искусственных протезов взамен утраченных конечностей. Или удаленное управление роботами «аватарами».

Сенсорное протезирование. Уже обыденным примером можно считать кохлеарный имплант, который позволяет восстановить слух людям. Также уже сейчас существуют нейроимпланты сетчатки глаза, позволяющие частично восстановить зрение.

Широкий простор для воображения дают игры. И не только с использованием виртуальной реальности, но и, например, вполне обыденное управление радиоигрушками при помощи такого рода устройств.

А если к возможности считывать сигналы добавить возможность посылать их обратно, стимулируя определенные части нервной системы, то (пока лишь в теории) это открывает невероятные перспективы для индустрии развлечений.

Можно ли читать или записывать мысли?

На текущем уровне развития технологий — и да, и нет. Считываемые сигналы не являются мыслями в прямом смысле этого слова, и прочитать с помощью такого устройства, что конкретно думает тот или иной человек, нельзя.

Эти сигналы лишь «след» деятельности нервной системы, с шумами, с запаздыванием до одной секунды. Считывается даже не конкретный нейрон (нервная клетка), а лишь активность некоторой области мозга или нервной системы. Поэтому поймать конкретную мысль вряд ли получится.

С другой стороны, уже существуют исследования, базирующиеся на магнитно-резонансной томографии, которые позволяют «расшифровывать» образы, возникающие при просмотре тех или иных изображений. Они не отличаются высокой точностью, но позволяют оценить общую картинку.

С записью мыслей все еще сложнее. Открытых исследований на эту тему нет. Но можно дать предостережение, опираясь на соседние области знаний. Если отвлеченно посмотреть на электросудорожную терапию, то при ее помощи можно довольно неплохо стирать память у людей и негативно влиять на их познавательные способности. С другой стороны, глубокая стимуляция головного мозга успешно используется для компенсации болезни Паркинсона.

Какое отношение это имеет к информационной безопасности?

Как ни странно, самое непосредственное. Не будем касаться этических вопросов использования нейроинтерфейсов — время расставит все по местам. Но важно понимать, что подобные устройства, как и любая сложная электроника, нуждаются в защите.

Сейчас все принято подключать к Интернету, очевидно, что нейроустройства также не минует данная участь: как минимум велик соблазн использовать Всемирную сеть для того, чтобы отсылать диагностическую информацию о состоянии владельца или самого устройства. И через подключение устройство может быть взломано.

Нейрокомпьютерные интерфейсы — что это и как работает?

И это не говоря уже о недалеком будущем, в котором нейроинтерфейсы, вероятно, будут использоваться повсеместно. Представьте, вы вживили себе импланты, улучшающие зрение и слух, а через них вам транслируют рекламу или вовсе передают ложную информацию.

Еще более пугающе выглядит чтение мыслей, не говоря уже о записи мыслей. Если уже сейчас есть возможность считывать видеообразы (пусть и с большими помехами), то что будет, когда технология усовершенствуется?

Возможно, пока подобные опасения напоминают сценарии фантастических боевиков. Однако при тех темпах, которые в наши дни свойственны развитию и внедрению новых технологий, нейроустройства и сопутствующие их использованию проблемы могут войти в повседневную жизнь людей гораздо стремительнее, чем кажется сейчас.

Источник