RAG по регламентам отвечает неточно: документы индексируются целиком
В RAG-ассистенте по внутренним регламентам каждый документ (10–80 страниц) превращается в один эмбеддинг. На вопрос «сколько дней на возврат товара» находится правильный документ, но в контекст модели попадает только его начало, и ответ неверный.
Что исправить в первую очередь?
- Резать документы на фрагменты с перекрытием
- Взять эмбеддинг большей размерности
- Увеличить температуру генерации
- Добавить в промпт «отвечай точнее»