Признак «среднее число заказов клиента» посчитан по всей истории
Модель оттока предсказывает на дату t, уйдёт ли клиент в следующие 30 дней. Признак avg_orders_per_month посчитан по всей таблице заказов, включая месяцы после t. На валидации AUC 0,93, в проде — 0,70.
В чём проблема?
- Признак использует данные после даты прогноза
- Среднее хуже медианы для этой задачи
- Признаков о заказах слишком мало
- AUC не подходит для задачи оттока