Как это работает — протез управляется напрямую из мозга

Управлять механическими устройствами напрямую импульсами мозга — в том числе протезами и экзоскелетами — можно уже довольно давно. Технически это просто расширение интерфейса мозг-компьютер. Поскольку мы можем мысленно перемещать курсор на экране, мы можем поднять стрелу экскаватора.

Как сообщал журнал Neural Engineering два года назад, профессор биотехнологии из Университета Миннесоты Бин Хэ (1) вместе со своей командой сконструировал миниатюрный вертолет с питанием от мозга. Водитель вертолета надевает шапочку с 64 электродами. Они передают мысленные команды: вверх, вниз, вправо и влево.

1. Профессор Бин Хэ тестирует управляемый разумом вертолет

«Наше исследование впервые показало, что можно создавать летающих роботов, управляемых разумом», — написал ученый. Вертолет выглядит как игрушка и на самом деле игрушка, но проф. У Бин Хэ гораздо более амбициозные планы. «Мы хотим управлять инвалидной коляской своими мыслями, и моя мечта — создать технологию, которая позволит нам управлять ею своими мыслями. Защити меня руки и ноги как можно естественнее».

Создаваемые учеными устройства, управляемые импульсами мозга, в настоящее время являются чрезвычайно дорогими и неэффективными прототипами, но в исследования мозга вкладывается все больше и больше средств. В будущем можно ожидать новаторских изобретений, которые облегчат жизнь больным и парализованным.

2. Протез из Университета Чалмерса.

Построен в Технологическом университете Чалмерса в США. нейропротез руки является, как сообщают специализированные СМИ, первой «управляемой разумом» конструкцией такого типа, прошедшей клинические испытания (2). Управление становится возможным благодаря нервно-мышечному интерфейсу, который позволяет общаться с устройством посредством нервных импульсов.

Протез был впервые интегрирован в тело ампутированного пациента в январе 2013 года. Ученые использовали метод, называемый «остеоинтеграция» (закрепление на кости), чтобы соединить протез с телом. Однако управление протезом осуществлялось с помощью внешних электродов.

Только недавно тело пациента, мужчины из Швеции, было полностью интегрировано в протез через внутренние нервные связи с датчиками в протезе. Связь двусторонняя — протезирование он может посылать сигналы и стимулы обратно в мозг.

Техника, которая знает, что вы думаете, но не знает, о чем

В новых проектах использован опыт многолетней работы над т.н. Интерфейс мозг-компьютер (BCI), т.е. устройства, которые позволяют общаться с помощью мыслей, считывая мозговые волны, без использования мышц. Методика BCI использует показания электроэнцефалограммы (ЭЭГ) для записи биоэлектрической активности мозга. Конечно, дело не в содержании мысли. Мы знаем только, как работают большие группы нейронов.

То есть мы можем говорить не о том, что мы думаем, а о том, как мы думаем с точки зрения активности областей мозга и конкретных наборов мозговых клеток. Благодаря ЭЭГ мы можем, например, распознать, какие из них работают более интенсивно в данный момент. Электроды электроэнцефалографа неинвазивны, в отличие от электрокортикографии (ЭКоГ), при которой датчики размещаются на коре головного мозга, что, конечно, требует хирургического вмешательства.

Теоретически помимо ЭЭГ возможно использование и других неинвазивных методов с размещением датчиков на поверхности головы. К ним относятся магнитоэлектроэнцефалография (МЭГ) для записи магнитной активности мозга и функциональная магнитно-резонансная томография (фМРТ), которая измеряет изменения оксигенации в активных областях мозга.

Вместо фМРТ в качестве метода оценки активности коры головного мозга можно также использовать инфракрасную спектроскопию (NIRS). Все эти методы можно использовать в интерфейсе мозг-компьютер, но они имеют практические недостатки. Оборудование для МЭГ и фМРТ громоздкое и очень дорогое. Напротив, NIRS и фМРТ имеют плохое временное разрешение.

Электрическая активность у человека была открыта и разработка электроэнцефалографии была инициирована Гансом Бергером в 1924 г. Используемый Бергером гальванометр Сименса с двойной катушкой, показывающий электрическое напряжение 0,001 В, позволял эффективно регистрировать биоэлектрические эффекты.

В 1969 году исследование Вашингтонского университета в Сиэтле впервые показало, что обезьяны могут научиться контролировать отклонение роботизированной руки, используя биологическую обратную связь с мозгом. В 80-х Апостолос Георгопулос из Университета Джона Хопкинса обнаружил математическую связь между электрическими сигналами нейронов моторной коры обезьяны и направлением движения их рук.

В середине 90-х некоторым исследовательским центрам удалось перехватить сложные сигналы моторной коры головного мозга. Собрания нейронов записывались и использовались для управления внешними устройствами. Первый интерфейс мозг-компьютер, связанный с корой головного мозга, был создан командой Филипа Кеннеди путем имплантации электродов в мозг обезьян.

В 2000 году исследователи под руководством Мигеля Николеиса создали систему BCI, которая имитировала движения обезьян, когда они управляли джойстиком или тянулись к еде руками. Этот интерфейс работал в режиме реального времени и также мог удаленно отправлять данные другому роботу через Интернет. Изначально обезьяны не видели робота, и система называлась BCI без обратной связи.

В более поздних экспериментах «петля была замкнутой», что означало, что обезьяны получали обратную связь в виде рук своего робота на экране. Последующие эксперименты BCI были сосредоточены на уменьшении количества «записанных» нейронов и развитии способности управлять движениями машин в трехмерном пространстве.

Четыре типа мозговых волн

Успехи метода BCI стали возможными благодаря все более изощренным методам исследования мозга. Работа центрального нервного органа подопытных животных анализируется с помощью лазерного излучения, флуоресцентных красителей, магнитных зондов и соединённых между собой сотен электродов диаметром всего несколько микрометров. Электроды изготавливаются из кремния, иридия, платины, стали или вольфрама.

3. Размещение электродов по стандарту System 10-20.

Ученые распознают закономерности электрических сигналов в мозгу, которые возникают в определенных ситуациях. Пациент учится сознательно воспроизводить эти паттерны, чтобы заставить объект двигаться с помощью мысли. Количество электродов, используемых для измерения электрической активности головного мозга, а также их расположение на поверхности головы могут варьироваться в широких пределах.

В научных исследованиях используется от нескольких до нескольких сотен электродов, которые могут быть примерно равномерно распределены по поверхности головы или сосредоточены только на определенных участках головы. В клинической и исследовательской практике измерительные электроды размещают на поверхности головы, согласно международному стандарту, разработанному в 50-х гг. Система 10-20.

В этой системе измерения электрической активности головного мозга осуществляются с помощью 19 электродов, расположенных в местах, определяемых после измерения некоторых характерных размеров головы, и двух референтных электродов, закрепленных вокруг ушей (3). Названия электродов в системе 10-20 содержат нечетные номера для электродов на левой стороне головы и четные для электродов на правой стороне.

В нашем мозгу происходят электрохимические процессы, которые отражаются в виде электрических импульсов. Эти импульсы можно измерить с помощью устройства ЭЭГ, которое дает нам информацию о частоте колебаний мозговых волн — единицей измерения является герц (Гц). Важной особенностью волн является то, что их амплитуда не постоянна, а очень тесно связана с выполняемыми нами задачами.

4. Ритмы (волны), встречающиеся в сигнале ЭЭГ.

Есть четыре частотных диапазона мозговых волн, измеряемых с помощью электроэнцефалографа: альфа, бета, тета и дельта (4). Волны частотой от 14 до 30 Гц — это бета-волны, сопровождающие состояние наибольшего «сознания». разумЗатем человек ориентируется на восприятие внешних раздражителей с помощью органов чувств.

В этом состоянии наш мозг может обрабатывать и анализировать данные. Бета-волны регистрируются в лобных долях и их амплитуда не превышает 20 мВ (микровольт). Волны с частотой от 7 до 13 Гц являются альфа-волнами — этот тип волн характеризует состояние непосредственно перед засыпанием или пробуждением. Волны с частотой от 4 до 7 Гц — это тета-волны — они возникают, когда мы полностью изолируем себя от внешних раздражителей — это состояние транса, позволяющее погрузиться в очень глубокую медитацию.

Этот ритм сопровождает нас и во время части сна, бывает и при депрессивных состояниях. Амплитуда напряжения составляет около 100 мВ (микровольт). Волны с частотой от 0,5 до 4 Гц, называемые дельта, типичны для бессознательного состояния, такого как глубокий сон. Тогда нам ничего не снится и тело регенерирует. Амплитуда напряжения превышает 100 мВ.

Человек может управлять движениями протеза, контролируя и соответствующим образом модулируя мозговые волны, которые затем считываются системой, переводящей эти сигналы в команды для протеза. Наиболее технологичными и в то же время самыми сложными в реализации являются асинхронные интерфейсы, в которых используются сигналы, генерируемые в результате воображения движения. Оказывается, деятельность мозга при выполнении и визуализации движения очень похожа. Благодаря этому пользователю не нужно совершать движение, а только представлять его.

Кроме того, расположение областей мозговой активности варьируется в зависимости от выбранных частей тела. Это позволяет правильно классифицировать намерения пользователя и, следовательно, построить исполнительную систему, в которой, например, образ движения правой рукой заставляет кресло-коляску поворачиваться вправо, левой рукой — влево, а правая нога — двигаться вперед.

5. Деление коры головного мозга на двигательную и сенсорную части

При анализе сигналов, возникающих в результате воображения движения, говорят о десинхронизации и синхронизации потенциалов мозга, связанных с этими намерениями. Важным ориентиром для правильного обнаружения сигналов ЭЭГ является разделение коры головного мозга в соответствии с их функциями.

Анатомические знания позволяют ассоциировать места на голове с образами движения тех или иных частей тела (5). Например, воображая движение левой руки, вы увеличиваете активность мозга под электродом С3. Изображение движения стопы наиболее ярко выражено на электроде, обозначенном как Cz. Различение «образов движения» между правой и левой ногой с помощью ЭЭГ невозможно с помощью обычных, наиболее популярных устройств ИМК.

Соответствующие области мозга расположены слишком близко друг к другу. Это похоже на представление движения отдельных пальцев. С другой стороны, области кистей, стоп и языка отличаются значительными топографическими различиями, поэтому они чаще всего используются в качестве объектов для умственных задач.

Преобразование сигнала

Чтобы прочитать и правильно интерпретировать записанные сигналы ЭЭГ, их необходимо извлечь, выбрать и классифицировать (6). Получение этих сигналов является сложной задачей. Известно, что за деятельность разных частей тела человека отвечают разные отделы головного мозга, но их расположение может в той или иной степени меняться. Следовательно, правильное расположение электродов является довольно сложной задачей. Сигналы, полученные от электродов, имеют очень низкий уровень (до 100 мВ) и отягощены целым рядом помех и шумов (7).

6. Блок-схема типичного решения интерфейса мозг-компьютер

Источниками помех являются артефакты, вносимые физиологическими процессами (мышечной активностью, движением глаз, сердцебиением и т. д.) и техническими явлениями, такими как электрическая сеть. По этим причинам процесс формирования сигнала ЭЭГ имеет большое значение. Вам необходимо значительно усилить сигнал, учесть напряжения, генерируемые на границе раздела кожа-электрод, отфильтровать помехи с частотой электросети и отфильтровать сигнал.

Усиленные сигналы с нескольких или даже нескольких десятков электродов в дальнейшем оцифровываются и передаются на компьютер. Там обычно на первом этапе выполняется дальнейшая, но уже цифровая обработка сигнала, называемая предварительной обработкой.

Эффект предварительной обработки — отфильтрованный сигнал ЭЭГ, лишенный артефактов и более прозрачным образом выявляющий ожидаемые особенности. Следующим шагом является выделение характеристик сигнала ЭЭГ, которые будут наиболее четко описывать ожидаемые свойства сигнала.

Наиболее часто используемыми признаками являются амплитудное или спектральное распределение. Выбор характеристик — непростая задача. Хотя общие характеристики сигнала, назначенного конкретным событиям, известны, они остаются разными для разных пользователей. Мало того, они могут меняться изо дня в день и даже от сеанса к сеансу. Поэтому стоит повторять выбор возможностей перед каждым использованием интерфейса.

7. Осциллограммы компонентов реального сигнала ЭЭГ.

Другим важным элементом, отчасти связанным с процессом выбора признаков, является указание наилучших электродов (выбор электродов), с которых следует считывать сигнал ЭЭГ. Этот выбор может заключаться в подсчете выбранных признаков для конкретного электрода. На более позднем этапе для конкретного пользователя может использоваться уменьшенное количество электродов, расположенных в указанных областях.

Стоит подчеркнуть, что скорость алгоритмов обработки сигналов ЭЭГ имеет большое значение, так как они должны выполняться в режиме реального времени — задержки этих механизмов являются задержками трафика. Если мы углубимся в публикации об интерфейсах BCI, управляющих машинами, в том числе протезами или экзоскелетами, мы быстро заметим, что это одна из самых больших проблем и проблем, которые предстоит преодолеть этой отрасли технологий.

Последним этапом работы интерфейса мозг-компьютер является использование выходного сигнала для управления исполнителем, генерирующим событие в результате намерения пользователя. Такой элемент может оказаться в интересующем нас случае протезирование руки, ноги, детали коляски или экзоскелета.

Используйте свои нервы

Описанная выше система игнорирует сохранившиеся нервы, ведущие к конечностям. Он просто передает сигналы на промежуточный компьютер, управляющий механическими модулями. В протез бионический, получающий сигналы от нервов, сохранившихся в культе руки или ноги, к которой крепится протез, работает несколько иначе.

В устройствах, упомянутых в статье этой темы о «человеке-киборге», используется прием, предполагающий использование нервных связей с мозгом, которым располагает человеческое тело после, например, потери конечности в результате несчастного случая. «.

Одним из них является КИБЕРРУКА. Естественная человеческая рука управляется «нервными» командами от центральной к периферической нервной системе, такой как рука. При этом информация о положении пальцев, силе захвата или скольжении предметов переносится, передается от естественных сенсоров (механорецепторов, мышечных веретен) в ЦНС путем раздражения периферических афферентных нервов. По такому же принципу должна работать и «кибернетическая рука» CYBERHAND. Его основными компонентами являются:

• регенерирующие электроды (регистрирующие импульсы от эфферентных и афферентных нервов);
• система имплантов, стимулирующих нервную систему, которые должны доставлять сенсорные ответы в нервную систему пациента, и наоборот – регистрировать намерение человека и передавать информацию на протез;
• линия телеметрии (приемник и передатчик) как для эфферентных, так и для центростремительных сигналов нервной системы;
• механическая система управления со встроенными биометрическими датчиками с точностью, аналогичной получаемой с помощью естественных конечностей;
• внешний контур, расшифровывающий намерение пациента;
• система, которая обеспечивает «когнитивный» ответ пациенту.

Когда ничего не работает

С другой стороны, система, которая пропускает нервные связи и передает сигналы непосредственно в машину, может хорошо работать в случае с парализованным человеком. При ней нельзя рассчитывать ни на какие нервные сигналы, потому что паралич состоит в том, что этих сигналов просто нет.

Для полностью обездвиженных пациентов, не способных даже говорить, немецкие ученые из Тюбингенского университета создали ментальную связь с компьютером. Для перемещения курсора по экрану монитора пациенту необходимо лишь адекватно контролировать свои мысли. Электроды, прикрепленные к голове человека, сидящего перед компьютером, считывают электрические импульсы в коре головного мозга.

В зависимости от результатов чтения курсор на мониторе перемещается вверх или вниз. Во время соответствующей подготовки пациент учится управлять своими мозговыми волнами. Ученые разработали специальный текстовый редактор, благодаря которому после нескольких недель обучения вы сможете свободно оставлять свои мнения, вопросы или пожелания. Так, после шести лет одиночества полностью парализованный турок по имени Мехмет вышел на контакт со своим окружением.

Американцы пошли еще дальше. Исследователи из Медицинской школы Университета Эмори в Атланте решили вживить электроды прямо в мозг двух добровольцев. Нервные клетки, возбуждаемые во время мышления, испускают электрический сигнал, который передается на внешний приемник. Пациент должен представить движение разными частями тела. После короткой тренировки он может перемещать курсор в выбранное место на экране.

Лесли Боуг, контролирующая целых двоих Защити меня руки, ему потребовалось всего десять дней упражнений, чтобы эффективно выполнять такие действия, как ношение стакана. Большим достижением в этих знаменитых экспериментах была возможность одновременного управления двумя руками, чего не было достигнуто в предыдущих разработках.

Используемая в данном случае система основана на поверхностной электромиографии (SEGM), т.е. измерении электрического сигнала, связанного с активацией мышц, происходящей в результате их сокращения. Когда мышца сокращается, электрический потенциал на уровне микровольт можно измерить на поверхности кожи над мышцей.

Это аналогично измерению активности сердечной мышцы (ЭКГ), за исключением того, что измерение происходит от скелетных мышц, а не от сердца. Это техника, используемая, например, в спорте — она позволяет получить параметры, необходимые для оценки техники движения игрока.

Поверхностная электромиография позволяет неинвазивно и безболезненно измерить электрический потенциал мышц. Электромиографическое исследование (ЭМГ), заключающееся в измерении электрического сигнала, вырабатываемого мышцей при сокращении, и оценке длительности потенциала, его амплитуды и формы, применяется в стоматологии. Анализируются записи двигательной единицы как в состоянии покоя, так и во время упражнений.

При незначительном и умеренном напряжении здоровой мышцы регистрируются одиночные потенциалы двигательной единицы. Механической активности мышцы предшествует регистрация электрической активности — это электромеханическая задержка (ЭМЗ), зависящая, в том числе, от на температуру и строение мышцы и условия ее работы. Несмотря на это, измерения ЭМГ достаточно хорошо характеризуют механическую активность мышц.

Однако когда мы говорим об использовании ЭЭГ в качестве интерфейса мозг-машина, необходимо помнить, что это требует интенсивной и длительной подготовки от участников экспериментов. Те, кто знаком с типами упражнений на концентрацию, такими как биологическая обратная связь (например, для студентов или спортсменов), знают, что изучение соответствующих уровней концентрации внимания для стимуляции электродов требует много работы и времени. Так контроль разума это не только техническая задача. Здесь от человека тоже требуется много труда и усилий. 