В третьей обзорной статье по истории “чтения мыслей” (первая, вторая) рассказ пойдет об опытах по связыванию мозга человека, компьютера и различных устройств.

Первые эксперименты по успешному “считыванию” команд из мозга человека были проведены в самом конце 20 века. А уже меньше чем через десять лет очередное достижение в "управлении силой мысли” стало вполне привычной новостью.

С помощью различных технологий люди (в т.ч. полностью парализованные) учатся управлять компьютерными программами, инвалидными колясками, автомобилями, робо-протезами и даже автономными роботами…

Эксперименты с животными по “мысле-управлению” различными устройствами дали массу новых знаний о том, как работает мозг и какие возможности могут быть по его использованию в качестве универсального “пульта управления”. Но ближайшая задача, которая стояла и стоит перед исследователями, работающими с человеком  — это создание устройств, которыми смогут воспользоваться для полноценного взаимодействия с окружающим миром парализованные люди.

Еще в 1990 году Рой Бэкэй и Филипп Кеннеди начали свои эксперименты по “извлечению” сигналов из мозга. В 1996 году в Атланте (в Университете Эмери) они получили разрешение на проведение двух экспериментов с участием безнадежно больных людей. Первый опыт завершить не удалось — женщина, принимавшая в нем участие, вскоре скончалась. Второй же прошел успешно. В 1998 году художник и музыкант Джонни Рей (1944–2002), тяжело парализованный из-за травмы ствола головного мозга (синдром “запертого человека”), стал пионером связывания мозга и компьютера.

В его мозг был имплантирован микроэлектрод (использовались синтезированные вещества, вызывающие обрастание нервными тканями контактов микросхемы), который соединили с компьютером. Рэй должен был думать о выполнении простых движений — о поднятии руки и т.п. Нервные импульсы, соответствующие этим движениям, были запрограммированы на управление курсором на экране компьютера.

Эксперимент показал, что, в целом, человек обучался примерно также, как и обезьяны в Институте Дюка. После тренировок Рэй смог управлять курсором, набирать текст по буквам и даже генерировать музыкальные сигналы. Когда Бэкэй и Кеннеди спросили у него, что он чувствует, когда управляет курсором, он медленно написал "ничего"…

Похожие эксперименты с тех пор были повторены неоднократно, однако более массовым стало использование гораздо более дешевой и безопасной электроэнцефалографии.

Одной из первых сложных систем “мысленного” управления компьютером стал программно-аппаратный комплекс для набора текста, разработанный в 2006 году коллективом из Wadsworth Center (штат Нью-Йорк, США), под руководством Питера Бруннера.

Эта система была полностью адаптирована для домашнего применения и включала в себя шлем для снятия ЭЭГ с 24 контактами, специальный преобразователь сигналов и обычный ноутбук.

Система, разработанная в Wadsworth Center, работала на очень простом, но эффективном принципе. На экране компьютера отображалась таблица с символами, которые поочередно подсвечивались. Человек должен был смотреть на нужный символ, а компьютер, анализируя изменение активности мозга, фиксировал момент, когда подсвечивалась именно та буква, о которой думал человек.

И хотя скорость набора текста составляла примерно один символ в 15 секунд — это был прорыв, позволивший нескольким парализованным людям общаться с внешним миром. Среди них был, например, 48-летний нейробиолог, страдающий боковым амиотрофическим склерозом, который не мог двигать ни руками, ни даже глазами. Используя разработанный мозг-компьютерный интерфейс, ученый смог продолжить свою работу…

Параллельное направление, которое может помочь людям выйти из «заточения» в собственном мозге, — это опыты по непосредственному «извлечению» изображения (и статичного, и видео) из мозга человека с помощью фМРТ. Так, результаты 2008 года позволили с однозначностью распознать те буквы, которые видел перед собой человек и, если удастся тоже самое сделать с «воображаемыми» человеком образами, то перспективы открываются просто фантастические…

Уже в самом начале 2000-х были созданы несколько опытных образцов систем по управлению инвалидной коляской с помощью мозг-компьютерного интерфейса на основе ЭЭГ. Но все они обладали малой точностью распознавания и высокой временной задержкой, а ведь это очень важно — цена запаздывания и ошибки при управлении любым средством передвижения очень велика. Лишь к 2009 году удалось добиться более чем 90% вероятности правильного распознавания команд и приемлемой скорости обработки сигналов…

Одну из первых инвалидных колясок с необходимыми параметрами распознавания мысленных команд представили разработчики из компании Toyota и японского исследовательского фонда RIKEN. 

Используя обычный ЭЭГ-шлем, они так усовершенствовали алгоритмы обработки сигнала, что система стала способна работать со скоростью до 8 команд в секунду. При этом точность составляла более 95%.

Наглядно увидеть процесс управления с помощью мысли инвалидной коляской можно в видео-ролике (в нем же упоминается конкурирующая технология управления, разработанная Honda — о чем далее):

Однако при всех достижениях использование одной лишь электроэнцефалографии при управлении устройствами, в которых нет возможности исправить ошибку — весьма опасно. Поэтому исследователи ищут способы подстраховать системы управления мыслью. Для этого применяют системы распознавания образов, датчики расстояний и т.п.

По оригинальному пути пошли японские исследователи из Honda, Shimadzu и института ATR. Они дополнили ЭЭГ технологией “спектроскопии в ближней инфракрасной области”, которая позволяет в реальном времени фиксировать изменения в мозговом кровотоке.  Являясь в своем роде альтернативой фМРТ, эта технология относительно более компактна и более дешева.

Применяя сдвоенную технологию “чтения мысли”, японцам удалось провести весьма впечатляющую демонстрацию “мысленного управления” роботом ASIMO. — Оператор смог дистанционно управлять с помощью своих мыслей любой из конечностей человекообразного робота на выбор. И хотя в первых экспериментах управление заключалось лишь в выборе одного из 4 вариантов движения конечностью, верность исполнения достигала 90%. (Увидеть как это происходило можно с 79 секунды на видео выше.)

Между тем, с середины первого десятилетия 21 века в продажу стали поступать “домашние” (они же “игровые”) системы “чтения мысли”, а на самом деле — портативные ЭЭГ-устройства. Их стоимость не превышала 300 долларов. А некоторые игры с простейшим ЭЭГ-интерфейсом можно уже сейчас купить за 99 у.е.

Теперь любой желающий может написать программу, обрабатывающую “мысленные команды”, и управлять с её помощью каким угодно устройством.

Вот как описывает свой опыт использования популярной Emotiv Systems один из её первый “юзеров”: «…тетрис. Великий и могучий. 4 действия (вверх-вниз-вправо-влево). Запомните все. Никогда в жизни не играйте в тетрис своими мозгами. Оно затягивает и получается. Система такая – играешь как в обычный тетрис, нажимая на кнопки клавиатуры, а система в фоне учится распознавать. В какой-то момент времени оно приходит к выводу, что научилось и начинает дублировать. В этот момент начинается шоу с приколами. Особенно забавно выходит, когда ты хочешь сдвинуть фигуру в сторону, сигнал поступает от BCI, затем сигнал приходит по руке до пальца, и ты посылаешь второй сигнал, в итоге оно смещается в сторону 2 раза. Лечится снятием руки с клавиатуры и нажиманиями на пустое место»… (habrahabr.ru/blogs/gadgets/115055/)

Именно Emotiv Systems была использовано немецкими разработчиками для своего показательного опыта в управлении автомобилем “силой мысли”.

В своем эксперименте участники проекта BrainDriver использовали автомобиль-робот, оснащенный  десятком датчиков и системой искусственного интеллекта. Вся эта начинка должна была подстраховывать “мозговое управление” от возможных столкновений и определять, как конкретно должна реализовываться мысленная команда.  

На долю человека и, соответственно, управления мыслью в эксперименте отвели простейшие команды: поворот направо-налево, разгон и торможение. Именно их должна была распознавать доработанная Emotiv Systems и передавать в “центр управления” автомобилем.

Перед началом, как обычно, необходимо настроить систему под конкретного водителя: дать возможность программе определить, какие конкретные изменения в “мозговых волнах” человека будут отвечать за выбранные команды, а затем… можно ехать:

На сегодняшний день для “тонкого” управления устройствами с помощью мысли более перспективными предстают системы с вживленными электродами (либо непосредственно в кору головного мозга, либо расположенные на его поверхности под черепной коробкой). И хотя и здесь есть нерешенные проблемы (главная из них: 100% предохранение мозга от занесения в него инфекции), но и добиться можно много большего.

Первый опыт по управлению робо-рукой с помощью “силы мысли” был осуществлен в 2005 году группой под руководством Лея Хохберга. Пораженному тетраплегией Мэтту Нэглу был вживлен в мозг 96-контактный имплантат. Снимаемые с него сигналы позволили Мэтту совершать простейшие движения робо-рукой, управлять курсором на экране компьютера, включать свет, переключать каналы телевизора и даже играть в компьютерные игры. (Здесь можно посмотреть соответствующие видео-фрагменты.)

10 октября 2011 года Медицинская школа университета Питсбурга опубликовала сообщение об успешном завершении испытаний полноценной робо-руки, которая управлялась полностью парализованным Тимом Хеммесом. Управление осуществлялось с помощью новейшего BCI (brain-computer interface / мозг-компьютерный интерфейс); контакт с мозгом обеспечивали электроды, помещенные непосредственно на двигательную зону коры головного мозга.

Это достижение явилось прямым продолжением экспериментов с обучением обезьян управлять различными манипуляторами, используя только “силу своего мозга".

Тридцатилетний Тим Хеммес за семь лет до этого попал в аварию. Шанс на взаимодействие с внешним миром ему мог дать только роботизированный протез. И вот, решившись на участие в эксперименте, Тим смог совершать различные манипуляции, имея под своим контролем фактически только свою голову.

Опыт длился месяц. В ближайшем будущем начнется следующий этап, в котором примет участие уже пять добровольцев. При этом будут использованы более чувствительные электроды, возможно, разнесенные по двум зонам — чтобы контролировать и движение руки, и более точные движения кисти и пальцев… Вот видео-ролик, рассказывающий об уже проделанной работе: