EN / RU / 🤖
← К эссе
· Эссе · 1 мин

Семантический декодер: перевод мозговой активности в текст

Ученые разработали систему, которая переводит мозговую активность в текст, помогая людям, которые не могут говорить.

Ученые из Университета Техаса в Остине разработали систему, называемую семантическим декодером, который может переводить мозговую активность человека в непрерывный поток текста. Это может помочь людям, которые могут мыслить, но не могут говорить, например, из-за инсульта, снова общаться понятно.

Система основана на модели трансформера, аналогичной тем, которые используются в ChatGPT от OpenAI и Bard от Google. Она не требует хирургических имплантов и не ограничивает пользователей словами из заранее определенного списка. Вместо этого мозговая активность измеряется с помощью сканера fMRI после обучения декодера, во время которого человек слушает часы подкастов.

Система пока не применима вне лаборатории из-за необходимости использования fMRI, но исследователи надеются, что их работа может быть адаптирована для других, более портативных систем, таких как функциональная ближнекрасная спектроскопия (fNIRS).

Исследование было опубликовано в журнале Nature Neuroscience. Ученые очень серьезно относятся к возможным злоупотреблениям технологией и заявляют, что их система работает только с согласия участников, а результаты для неподготовленных людей оказываются непонятными.

Еще один шаг к моменту, когда не нужно будет печатать текст медленно нажимая на экран или клавиши пальцами, а достаточно будет просто подумать мысль. Уверен что это ускорит ввод данных как минимум на порядок, не говоря о количестве спасенных жизней людей, которые печатают за рулем (если мы конечно еще будем за рулем к этому времени)

Paper: https://www.nature.com/articles/s41593-023-01304-9

Семантический декодер: перевод мозговой активности в текст — illustration