Плоская uplift-кривая при высоком AUC модели отклика
Для кампании со скидкой нужно выбрать, кому её отправлять. Есть две вещи:
- propensity-модель отклика на LightGBM, ROC-AUC 0.83;
- набор uplift-моделей (S-, T-, X-learner), обученных на данных прошлой кампании с контрольной группой. Их uplift-кривая практически плоская, Qini близок к нулю.
Какой вывод корректен?
- Взять топ по вероятности отклика: раз AUC 0.83, эти клиенты дадут наибольший прирост выручки
- Uplift-модели недообучены, нужно увеличить контрольную группу и переобучить, propensity пока использовать как замену
- Прироста от таргетирования нет: сегментация по uplift не окупается, честнее работать со всей базой
- Заменить метрику оценки uplift-моделей на F1: Qini плохо работает при слабом эффекте и малой контрольной группе