Обещал рассказать про проект над которым мы с командой работали в рамках lablab.ai хакатона.
Если коротко - это дообучение на основе внешних данных (мы взяли за основу Notion).
Общий сценарий такой:
1) Подключаете ваш knowleadge base (Notion, Confluence etc)
2) Мы на основе embeddings ищем вектора для информации и складируем
3) Пользователь задает вопрос (мы сделали как интеграцию в Discord и Telegram, но это может быть и поиск, и поле на сайте и голосовое помощник и что-то другое)
4) Profit
Learnings:
1) Хакатон это супер возможность за неделю-две попробовать руками те инструменты, которые в обычном режиме вы будете изучать месяцами
2) Дьявол в деталях, многие идеи лежат на поверхности, но как только вы начинаете их внедрять оказывается, что 80% времени занимают всякие тонкости, оболочки и т.д. Думаю в этом основное отличие реализованных продуктов и бизнесов от идей
3) В итоге “добавлять знания” в модель оказалось лучше через Embeddings (вектора), а не через finetuning.
a) это дешевле
b) это технически правильнее. Если коротко, то каждый запрос пользователя прогоняется через embedding, находится под него вектор, дальше вы ищите в свой БД самый близкий вопрос-ответ к тому, что задал пользователь и уже все это используете как часть Prompt для формирования финального ответа.
Карточка проекта + видео: https://lablab.ai/event/openai-hackathon/data-dreamers/i-am-ai-personalized-chatgpt
Discrd для текста: https://discord.gg/qy2MgAXE
Мысли на будущее:
1) Поэкспериментировать может ли embeddings понимать и классифицировать actionable предложения аля “перешли васе эту ссылку” понимая, что action=send email
2) Один из источников знаний, помимо Notion, для нас это история чата. Хочу поэкспериментировать с тем, чтобы вычленять историю переписки, составлять вектора для каждого сообщения и автоматически классифицировать их. Например определяя “топ 5 тем обсуждаемых на этой неделе”, даже если они по разному формулировались.
P.S. Пишите в личку, если вы думаете над применением AI в своем проекте, но пока не понимаете как подступиться.
