Поиск по скалярному произведению выдаёт в топ самые длинные тексты
Векторный поиск похожих товаров использует скалярное произведение эмбеддингов. Модель эмбеддингов не нормализует векторы, и у длинных описаний норма заметно больше. В результате в топе оказываются длинные описания, даже слабо связанные с запросом.
Как исправить?
- Нормализовать векторы и искать по косинусу
- Обрезать все описания до 10 слов
- Искать по евклидову расстоянию без нормализации
- Увеличить число результатов в выдаче