Исследователи из Техасского университета расшифровали мозговую активность человека, когда он слушает историю или представляет, как рассказывает ее в потоке текста, благодаря искусственному интеллекту и МРТ. Исследование опубликовано в Nature Neuroscience.
Система не переводит и не декодирует слово в слово, а скорее передает суть воображения.
Исследование может значительно помочь людям, которые находятся в сознании, но не могут говорить, например, пострадавшим от инсульта.
Технология не требует от человека наличия хирургических имплантатов, в отличие от других систем декодирования языка. Это не значит, что кто-то может непроизвольно читать мысли, ведь испытуемый должен активно сотрудничать с ученым.
Испытуемых просили часами прослушивать подкасты с помощью функционального МРТ-сканера. Прослушивание этих подкастов запускало мозговую активность, которая затем декодировалась машиной, тем самым генерируя текст.
Декодер выдает текст, который соответствует предполагаемым значениям исходных слов, а не самому фактическому тексту. Например, если участник, слушающий оратора, сказал: «У меня еще нет водительских прав», машина расшифровала это как «Она еще даже не начала учиться водить».
Испытуемых также показали четыре коротких видеоролика без звука, находясь в сканере. Используя их мозговую активность, семантический декодер описывал определенные события из видеозаписей.
В настоящее время он основан на аппарате ФМРТ, так что его можно использовать только в пределах лаборатории. По мнению исследователей, эта работа могла бы быть передана другим, таким как более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).
«fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет ФМРТ. Таким образом, наш точный подход должен быть применен к fNIRS»,– сообщают учёные.
