Ученые научили искусственный интеллект расшифровывать мысли через МРТ
Группа ученых из Техасского университета разработала систему искусственного интеллекта, позволяющую преобразовать активность мозга человека в текст. Исследование опубликовано в журнале Nature Neuroscience.
Ученые обучали семантический декодер на мыслительной активности испытуемого, который прослушал несколько часов подкастов, пока его мозг исследовали с помощью аппарата МРТ. Разработанная система, которую не нужно имплантировать, может генерировать поток текста, когда пользователь думает. Когда участники эксперимента смотрели видео без звука, искусственный интеллект точно описывал некоторые события из роликов.
Ученые отметили, что генерируемый текст не является точной стенограммой, а лишь фиксирует общие мысли или идеи. Система дословно передает слова пользователя примерно в половине случаев. Например, во время эксперимента мысль «у меня еще нет водительских прав» она представляла как «он еще даже не начал учиться водить машину».
Декодер частично опирается на модели нейросетей, аналогичные тем, что используются в ChatGPT от Open AI и чат-боте Google Bard, отмечается в пресс-релизе Техасского университета. «Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что было сделано раньше. <...> Мы получили модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями», — сказал один из ведущих авторов исследования Александр Хат.
Пока декодер нельзя использовать вне лабораторных условий, поскольку тот работает только вместе с аппаратом МРТ. Но исследователи считают, что в конечном итоге его можно будет применять с помощью более портативных систем визуализации активности мозга. Как пишет CNBC, система сможет помочь пациентам, которые потеряли способность общаться после инсульта, паралича или других дегенеративных заболеваний.
Подобные исследования проводятся не в первый раз, и ученые уже достигали успехов в преобразовании активности мозга в текст. В частности, прошлым летом компания Meta (признана в России экстремистской и запрещена) представила модель, похожую на разработку ученых Техасского университета. Искусственный интеллект, основываясь на данных электро- и магнитоэнцефалографии, фиксировал, как мозг участников реагирует на прослушивание аудиокниг и отдельных фраз, а затем преобразовывал мысли в речь. Модель способна декодировать части речи с точностью до 73% при использовании набора из 793 наиболее распространенных слов.