BrainGPT читает мысли и преобразует их в текст

Эксперимент по чтению человеческих мыслей можно посмотреть на видео
Чтение мыслей

BrainGPT – чтение мыслей уже становится реальностью

На конференции по машинному обучению и вычислительной нейробиологии NeurIPS, проходившей с 10 по 16 декабря 2023 года, исследовательская группа  провела демонстрацию проекта по «перекодированию необработанных мозговых волн в слова». 

Новый прорыв исследователей из Центра человекоориентированного искусственного интеллекта GrapheneX-UTS Сиднейского технологического университета позволяет увидеть, как мысли преобразуются в слова на экране.

«Это исследование представляет собой попытку перевода необработанных волн ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в этой области», — прокомментировал Чинг-Тен Лин, заслуженный профессор Школы компьютерных наук и директор Центра HAI GrapheneX-UTS.

 

В эксперименте испытуемых просили подумать о тексте, отображаемом на экране

Первый пример: «Добрый день! Надеюсь у тебя все хорошо. Я начну с капучино и порции эспрессо»

Результат, интерпретированный с помощью BrainGPT:

«День! Вам хорошо? Капучино, Экстра шот. Эспрессо» – хотя большая часть информации отсутствует, оставшуюся часть можно корректно.

Следующий пример предложения:

«Сказка была наполнена волшебными приключениями в очаровательном заколдованном лесу».

Результат:

«В сказке было много волшебства a. Путешествие, лесная магия» – возможно, из-за того, что предложения короткое, генерируются предложения с более схожим с оригиналом смыслом.

 

Для существительных часто используются синонимы, например, слово «автор» выводится как «человек», поэтому BrainGPT показывает лучшие результаты при сопоставления глаголов, чем существительных. Причина этого вероятно в том, что мозг может генерировать схожие паттерны мозговых волн, которые семантически схожи при обработке существительных.

Реклама. ЧОУ ЧАСТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ СКИЛБОКС (КОРОБКА НАВЫКОВ), ИНН 9704088880, erid: LdtCJzD4K

BrainGPT — это система, которая генерирует текст с помощью крупной языковой модели, основываясь только на мозговых волнах, считываемых с датчиков на голове, без необходимости использования аппарата МРТ или импланта. «Мы впервые включили методы дискретного кодирования в процесс перевода мозга в текст», — заявили исследовательская группа.

Схема работы BrainGPT, представленная на конференции

 

Это не первая технология, способная переводить сигналы мозга в текст, она пока единственная, не требующая мозговых имплантатов или доступа к полноценному аппарату МРТ. По словам исследователей, она имеет преимущество перед предшественниками, которые требуют дополнительных входных данных, таких как ПО для отслеживания взгляда.  Вместо этого пользователям нужно всего лишь носить “шапку с датчиками”, которые регистрируют активность их мозга с помощью электроэнцефалограммы (ЭЭГ).