PSI по признаку вырос до 0.3, а качество пока держится
Мониторинг продовой модели показал: PSI по признаку «средний чек за 30 дней» вырос с 0.05 до 0.3 за две недели. Целевые события по свежим когортам ещё не вызрели, Gini на последнем доступном срезе не изменился.
Какие действия правильные?
- Игнорировать сдвиг: качество на последнем доступном срезе не изменилось, значит поводов для реакции пока нет
- Сразу запустить переобучение на свежих данных, чтобы модель подстроилась под новое распределение
- Сначала проверить источник признака и апстрим-пайплайн, а решение о переобучении принимать после разбора причины
- Исключить признак из модели и переобучить без него: нестабильные в проде признаки использовать нельзя