rvachev.orgEN / RU / 🤖
← К эссе
· Эссе · 1 мин

Open Source LLMs и Open Weights LLMs не одно и тоже

На рынке не так много Open Source моделей, которые подразумевают открытость всей инфраструктуры.

Open Source LLMs и Open Weights LLMs не одно и тоже

На самом деле на рынке не так много Open Source моделей (которые подразумевают открытость всей инфраструктуры включая данные для обучения).

Те модели, что многие по ошибке называют Open Source, на самом деле больше похожи на бесплатную дистрибьюцию программ, но без кода.

Основным минусом Open Weights моделей в том, что их можно файнтюнить, но файнтюн улучшает результаты ответов в одном месте одновременно ухудшая ответы в другом (на которые модель отвечала хорошо до файнтюнига).

В идеальном мире вы хотите иметь модель которая отвечает хорошо на весь спектр.