В виде препринта на сервисе bioRxiv появилась работа ученых из Техасского университета в Остине, в рамках которой они создали и обучили алгоритм искусственного интеллекта использовать данные активности мозга, полученные в ходе функциональной МРТ, для «чтения мыслей», то есть реконструкции непрерывного повествования. Этот алгоритм может лечь в основу более совершенных интерфейсов мозг-компьютер, которые будут помогать своим пользователям взаимодействовать с окружающим миром.
Особый интерес вызывает тот факт, что у исследователей получилось в качестве основы для определения «паттерна» или рисунка активности мозга использовать функциональную МРТ (фМРТ) – методику, которая лишь косвенно может улавливать сигналы мозга по изменению кровотока в той или иной области мозга. Поскольку гемодинамический ответ на деятельность нейронов – процесс небыстрый (порядка 5 секунд), фМРТ обладает слабым временным разрешением. Тем не менее он позволяет с высокой точностью локализовывать активность, если речь не идет о фиксации каких-то очень быстрых явлений.
Ранее ученые уже проводили расшифровку паттернов активности мозга в ответ на прослушивание или просмотр чего-либо, но при этом для чтения работы нейронов использовались инвазивные электроды. Техасские ученые впервые применили для этих целей неинвазивную методику.
Для того, чтобы собрать данные для обучения декодера на основе искусственного интеллекта (ИИ), ученые предложили трем добровольцам (одной женщине и двум мужчинам) прослушать, находясь в томографе, несколько подкастов с самыми широкими тематическими категориями: The Moth Radio Hour, TED talks и Anthropocene Reviewed. В общей сложности были набраны записи активности мозга после 16 часов прослушивания. По словам авторов, объем этих данных, в целом, соответствует аналогичным исследованиям с использованием фМРТ, хоть здесь и участвовало небольшое количество человек.
Основываясь на 16-часовых записях фМРТ мозга людей, декодер сделал ряд прогнозов того, как будет выглядеть активность мозга на фМРТ при «размышлении на заданную тему». Интересно, что эти данные совпали с реальными экспериментальными данными, полученными на людях после проверки.
Результаты показали, что процедура угадывания и проверки алгоритма в конечном итоге генерирует целую историю из записей МРТ, которая, по словам авторов, «довольно хорошо» совпадает с реальной историей, рассказанной в аудиозаписи. Однако у него есть некоторые недостатки; например, он не очень хорошо сохраняет местоимения и часто путает, от первого или третьего лица шло повествование. То есть, фактически, декодер «довольно точно знает, что происходит, но не знает, кто что делает».
Помимо крайне важного прикладного значения, эта работа имеет и фундаментальный аспект. Декодер может «рассказать» и о том, как в мозге происходит распознавание смыслов. Используя декодер для записи активности определенных областей (префронтальной коры и теменно-височной коры), команда смогла определить, какая часть предоставляет какую семантическую информацию. Одно из открытий заключалось в том, что обе эти области предоставляли одну и ту же информацию, и декодер работал одинаково хорошо при использовании записей из любой области мозга.
Самое удивительное, по мнению авторов, заключается в том, что декодер смог реконструировать стимулы, которые не использовали семантический язык, хотя его обучали на данных испытуемых, которые слушали разговорную речь. Например, алгоритм успешно реконструировал смысл просмотренных сюжетов немого фильма, а также воображаемый опыт участника, рассказывающего историю.
«Тот факт, что эти вещи настолько накладываются друг на друга [в мозге], — это то, что мы только начинаем понимать», — говорят авторы.
Здесь сразу возникает вопрос о конфиденциальности личной информации и защите персональных данных. Ученые специально занялись этим вопросом и пришли к мнению, что если человека при прослушивании информации просить отвлекаться и, например, считать или воображать каких-либо животных, то точность декодировки падает почти до нуля. К тому же алгоритм, обученный на данных активности мозга одного испытуемого, не может распознавать «мыслеобразы» другого человека. То есть без желания самого добровольца ничто его мысли прочитать не способно.
Текст: Анна Хоружая
Semantic reconstruction of continuous language from non-invasive brain recordings by Jerry Tang, Amanda LeBel, Shailee Jain, Alexander G. Huth in bioRxiv. Published September 2022
Свежие комментарии