Модель прогноза спроса проверяли случайным разбиением по дням
Модель прогнозирует продажи товаров на следующую неделю. Валидация — KFold(shuffle=True) по строкам «товар × день» за два года. MAPE на валидации 8%, а за первый месяц в проде — 19%. Утечек в признаках не нашли.
Как валидировать правильно?
- Разбивать по времени: обучение раньше валидации
- Увеличить число фолдов до 20
- Перемешивать строки с другим seed
- Использовать StratifiedKFold по товарам