rvachev.orgEN / RU / 🤖
← К эссе
· Эссе · 1 мин

Meta FAIR выпустили Brain2Qwerty v2

Meta FAIR выпустили Brain2Qwerty v2 - декодер, который переводит сигналы мозга в текст без операции.

🧠 Meta FAIR выпустили Brain2Qwerty v2 - декодер, который переводит сигналы мозга в текст без операции.

Прошлый non-invasive подход давал около 8% точности на уровне слов. v2 - 61% в среднем по девяти участникам, лучший результат - 78%: больше половины предложений с ошибкой не более одного слова. Для сравнения: раньше такой точности можно было добиться только с вживленными электродами.

Участники 10 часов набирали предложения в MEG-сканере (шлем, без операций). Модель обучилась на 22,000 предложений - сквозной deep learning (Transformers + CNN) плюс дообученная языковая модель для восстановления смысла из зашумленного сигнала.

Из статьи: точность растет логарифмически с объемом данных - разрыв с хирургическими методами закрывается масштабированием, без новых архитектур.

v1 принят в Nature Neuroscience. Код открыт.

https://ai.meta.com/blog/brain2qwerty-brain-ai-human-communication/
https://facebookresearch.github.io/brain2qwerty/

#meta@rvnikita_blog #bci@rvnikita_blog #ai@rvnikita_blog #neuroscience@rvnikita_blog #research@rvnikita_blog