На кросс-валидации AUC 0.88, в проде 0.71
Модель обучена на поведенческих данных за два года. Валидация — случайный KFold на 5 фолдов, ROC-AUC 0.88 со стабильным разбросом по фолдам. Через месяц после раскатки ROC-AUC на живом потоке — 0.71. Данные не терялись, признаки считаются тем же кодом.
В чём наиболее вероятная причина расхождения?
- Фолдов слишком мало: на десяти фолдах в обучение попадает больше данных, и оценка оказалась бы ближе к продовой
- Модель переобучена под обучающую выборку: нужно уменьшить глубину деревьев и число итераций и переобучить
- Случайный сплит перемешал периоды: в обучении оказались данные, идущие по времени после валидационных
- Выборки за два года мало для такой задачи: нужно накопить ещё год истории и только потом оценивать модель