**🧠 AI всё больше и больше (порой пугающе) становится похож на мозг: как AI понимает понятия
**
Недавно учёные, включая David Baek, обнаружили интересные детали о том, как модель Sparse Autoencoder (SAE) представляет понятия. Они выделили три уровня, которые помогают понять, как AI "видит" наш мир.
Атомный уровень – мелкий. Здесь SAE собирает похожие понятия в "кристаллы" с параллелограммами или трапециями, наподобие известных примеров "мужчина-женщина" и "король-королева". Эти формы улучшаются, если убрать мешающие факторы (например, длину слова) с помощью линейного дискриминантного анализа, который помогает фокусироваться на важных признаках.
Мозговой уровень – средний. Тут понятия вроде "математика" и "кодинг" группируются вместе, напоминая области мозга человека. Они создают аналог "долей", как в нашем мозге, где каждый участок отвечает за свою функцию. Например, в мозге есть области для языка или зрения, а здесь AI выделяет "области" для связанных концепций.
Галактический уровень – крупный. На этом уровне модель формирует целую "вселенную" понятий, где разные концепты находятся на разных расстояниях друг от друга. Эти расстояния не случайны, а подчиняются закону степени: чем дальше от центра, тем менее схожи понятия. Это напоминает распределение галактик во вселенной.
Таким образом, на среднем уровне работа AI действительно похожа на то, как мозг человека разделяет функции на отдельные зоны. Это важный шаг для понимания того, как AI может изучать и обрабатывать сложные концепции, имитируя нашу природную способность организовывать информацию.
📝 Paper: https://arxiv.org/abs/2410.19750
