Свежие комментарии

  • Анастасия И
    Окна жизни в доэлектронную эпоху.Санта-Мария Аннун...
  • Alina Budkina
    Они все были носительницами гена гемофилии, искали бы невесту в другой династии.Последняя русская...
  • Ангел Смерти
    Если выкинуть из школьной программы произведения всех таких авторов, то изучать станет практически нечего.ДЕТИ МИХАИЛА ЖВАН...

Речевой нейропротез для парализованного человека

Речевой нейропротез для парализованного человека Джесси Лю, Дэвид Мозес и Шон Мецгер.

В Калифорнийском университете в Сан-Франциско (University of California, San Francisco) разработан речевой нейропротез: парализованный человек получил возможность общаться с окружающими. Сигналы электродной матрицы, размещённой на поверхности мозга, обрабатываются и выводятся на экран в виде текста.

Первый автор работы, отчёт о которой опубликован в New England Journal of Medicine — Эдвард Чанг (Edward Chang). О первых достижениях возглавляемого им коллектива мы писали в 2014-м. Усилия Чанга и его команды вознаграждаются новыми успехами.

«Насколько нам известно, это первая успешная демонстрация прямой расшифровки полных слов из мозговой активности человека, который парализован и не может говорить, — говорит профессор Чанг. — Мы получаем возможность восстановить способность к общению, подключившись к естественному речевому механизму мозга».

Работа в области коммуникативного нейропротезирования в большинстве случаев сосредоточена на восстановлении возможности общения с помощью последовательного набора букв. Подход Чанга принципиально другой: его команда «расшифровывает» сигналы, предназначенные для управления мышцами голосовой системы (для произношения слов), а не сигналы для перемещения руки или кисти (для письма или набора текста).

Чанг отмечает, что этот подход использует естественные и подвижные аспекты речи и обещает более быстрое и органичное общение.

«С помощью речи мы обычно передаём информацию с очень высокой скоростью, до 150 или 200 слов в минуту, — говорит Чанг, отмечая, что «орфографические» подходы, основанные на наборе текста, письме и управлении курсором, значительно медленнее и более трудоёмки. — Переход прямо к словам, как делаем мы, даёт большие преимущества, потому что это ближе к тому, как мы обычно общаемся».

Сказать быстрее, чем напечататьСказать быстрее, чем напечатать.

В течение последнего десятилетия Чанг работает с пациентами Центра эпилепсии Калифорнийского университета. Для того, чтобы точно определить связанную с припадками область мозга, проводились нейрохирургические операции — на поверхность мозга добровольцев устанавливались электродные матрицы. Пациенты, все без проблем с речью, согласились на анализ сигналов мозга для поиска их связи с речевой активностью. Успешные эксперименты проложили путь к новому эксперименту, уже на людях с параличом.

Ранее Чанг и его коллеги из Института нейробиологии Калифорнийского университета (UCSF Weill Institute for Neurosciences) создали карту паттернов кортикальной активности, связанных с движениями голосового тракта при произношении каждого согласного и гласного. Чтобы перевести эти результаты в полноценное распознавание речи, Дэвид Мозес (David Moses), один из ведущих авторов нового исследования, разработал новые методы декодирования этих паттернов в реальном времени и статистические языковые модели для повышения точности распознавания.

Эдди ЧангЭдвард Чанг в операционной. Фото: Barbara Ries.

Но успех в расшифровке речи участников экспериментов, которые могли говорить, не гарантировал, что технология будет работать с человеком, голосовой тракт которого парализован. «Наши модели должны были изучить связь между сложными паттернами мозговой активности и предполагаемой речью, — говорит Мозес. — Это создаёт серьёзную проблему, когда участник не может говорить».

Будут ли сигналы мозга, управляющие голосовым трактом, все ещё достаточно сильны у людей, которые не имели возможности использовать голосовые мышцы в течение многих лет? «Лучший способ узнать — попробовать», — говорит Мозес.

Для разработки технологии, которая должна помочь парализованным пациентам, Чанг совместно с профессором неврологии Карунешем Гангули (Karunesh Ganguly) организовал проект, названный BRAVO (Brain-Computer Interface Restoration of Arm and Voice). Первый участник исследования — мужчина в возрасте около тридцати, более 15 лет назад перенесший инсульт, который серьёзно повредил связь между его мозгом и голосовыми связками и конечностями. После травмы у пациента сохранилась возможность крайне ограниченно двигать головой, и он общался с помощью указки, прикреплённой к бейсболке — так он мог выбирать буквы на сенсорном экране.

Результатом работы с анонимным пациентом (в публикациях его называют BRAVO1) стал «словарь» из 50 слов, которые команда Чанга с помощью своих алгоритмов может распознать, считывая активность мозга. Словарный запас невелик, но достаточен для создания сотен предложений, выражающих понятия, применимые к повседневной жизни BRAVO1.

В ходе исследования Чанг хирургическим путём имплантировал массив электродов высокой плотности в речевую моторную кору BRAVO1. Затем было записано в общей сложности 22 часа нейронной активности — для этого было проведено 48 сеансов в течение нескольких месяцев. На каждом сеансе BRAVO1 пытался произнести каждое из 50 словарных слов много раз, в то время как электроды записывали сигналы мозга от его речевой коры.

Чтобы перевести паттерны записанной нейронной активности в конкретные слова, два других ведущих автора исследования, Шон Мецгер и Джесси Лю, использовали искусственный интеллект. Когда участник пытался говорить, обученная на полученных ранее данных нейросеть различала тонкие паттерны мозговой активности, чтобы обнаружить попытку речи и определить, какие слова человек хочет сказать.

Вначале BRAVO1 по несколько раз повторял заданные исследователями короткие предложения, построенные из 50 словарных слов. Пока он делал это, слова расшифровывались и выводились одно за другим на экран.

Затем команда переключилась на диалоги. Задавались простые вопросы — «Как вы себя чувствуете?», «Не хотите ли немного воды?». На экран выводились ответы.

В существующем виде система способна декодировать слова по мозговой активности со скоростью до 18 слов в минуту с точностью до 93 процентов (медиана 75 процентов). Успеху способствовала языковая модель, которая реализовала функцию автокоррекции, аналогичную той, что используется в программном обеспечении для распознавания текстов и речи.

Исследователи полагают, что разработанная ими технология перспективна и её наглядная демонстрация, пусть пока на одном человеке, — «важная технологическая веха» и первый шаг к тому, чтобы потерявшие возможность говорить люди снова обрели голос.

Ссылка на первоисточник

Картина дня

наверх