1. Спросить OpenAI
- На входящий запрос спрашиваем GPT “Should I perform a Google search to better answer the following question: \"{input_text}\"? (yes or no)”
- Если получили в отчет yes - делаем запрос в google через API
- Подсовываем результаты в качестве препромпта “Please provide an answer using information from the following Google search results and specify the source links if you use them for your answer”
2. Обрабатывать определенные ответы
- Сначала отправляем запросы в OpenAI как обычно
- Если получили что-то вроде “As an AI language model I don’t…” или “As an AI language model I can’t” то идем этот же запрос гуглить и подсовывать препромптом. На самом деле отлавливать что GPT не справился можно через Embeddings (что это такое и как это работает писал тут https://t.me/rvnikita_blog/376 )
3. Натренировывать свою модель
- с помощью Reinforcement Learning пытаться дообучить LLM модель для определения нужна ли дополнительная информация.
Основной минус - данный подход увеличивает время обработки и количество промптов.
Может у вас есть какие-то дополнительные мысли?
P.S. Бот опенсорсный, исходники доступны по ссылке https://github.com/rvnikita/RvChat_bot (ставьте ⭐️ )