В последнее время в области обработки естественного языка достигнут значительный прогресс: алгоритмы глубокого обучения все чаще способны генерировать, обобщать, переводить и классифицировать тексты. Тем не менее, эти языковые модели все еще не могут сравниться с языковыми способностями человека. Теория предиктивного кодирования предлагает предварительное объяснение этому несоответствию: в то время как языковые модели оптимизированы для предсказания близлежащих слов, человеческий мозг постоянно предсказывает иерархию представлений, охватывающую множество временных масштабов. Чтобы проверить эту гипотезу, мы проанализировали сигналы функциональной магнитно-резонансной томографии мозга 304 участников, слушавших короткие истории. Во-первых, мы подтвердили, что активации современных языковых моделей линейно отображаются на реакцию мозга на речь. Во-вторых, мы показали, что улучшение этих алгоритмов за счет прогнозов, охватывающих несколько временных шкал, улучшает отображение мозга. Наконец, мы показали, что эти предсказания организованы иерархически: фронтопариетальные коры предсказывают более высокоуровневые, более дальние и более контекстуальные представления, чем височные коры. В целом, эти результаты усиливают роль иерархического предиктивного кодирования в обработке языка и иллюстрируют, как синергия между нейронаукой и искусственным интеллектом может раскрыть вычислительные основы человеческого познания.
· Эссе · 1 мин
Прогресс в обработке естественного языка и предиктивное кодирование
В области обработки естественного языка достигнут значительный прогресс, но языковые модели все еще уступают человеку.