Интересная статья от Stephen Wolfram про то, как работает ChatGPT под капотом (да и вообще весь этот AI).
Забавная попытка объяснить несколько курсов машинного обучения от линейной функции до трансформера в одной статье.
Из интересного - часть архитектуры GPT такая, что никто не понимает почему оно работает, но просто обнаружили, что работает.
Пока читал статью, особенно ту ее часть, где рассказывается как наш язык и знания кодируются в набор отпечатков размером 768x768, почему-то вспомнились наши попытки отправить в космос послание внеземным цивилизациям. Помимо радисигналом вы дважды отправляли физические объекты (пластинки с информацией). Там были в основном звуки/музыка/изображение. Было бы очень логично и намного более информативно отправить исходные код и веса ChatGPT модели.
Подробнее про послание https://ru.wikipedia.org/wiki/METI
Статья про GPT https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
