Команда удержания обрабатывает 3% базы, а модель оценивают по ROC-AUC
Модель оттока даёт ROC-AUC 0.82. Команда удержания физически может обзвонить около 3% базы в месяц и берёт клиентов с самым высоким скором. При пилоте выяснилось, что среди обзвоненных доля реально уходящих ненамного выше, чем в среднем по базе.
Как правильно оценивать и настраивать модель под такой сценарий?
- Смотреть precision и lift на верхних 3% скора: качество ранжирования именно в этой зоне и определяет эффект
- Понизить порог отсечения до 0.5: это поднимет recall и позволит покрыть коммуникацией больше уходящих клиентов
- ROC-AUC уже усредняет качество по всем порогам, поэтому дополнительных метрик не нужно
- Оптимизировать F1 на всей базе: это сбалансированный компромисс между precision и recall для любого сценария