После смены модели эмбеддингов качество поиска упало почти до нуля
Команда заменила модель эмбеддингов на более качественную по бенчмаркам. Новый код считает эмбеддинги запросов новой моделью, а индекс из 3 млн фрагментов решили не пересчитывать — «размерность ведь та же, 768». Recall@10 упал с 0,82 до 0,03.
Что произошло и как делать такие миграции?
- Пространства моделей несовместимы — нужен новый индекс
- Новая модель хуже, нужно откатиться навсегда
- Размерность 768 слишком мала для 3 млн фрагментов
- Нужно просто пересобрать HNSW-граф