Вступить в клуб →

Команда удержания обрабатывает 3% базы, а модель оценивают по ROC-AUC

Модель оттока даёт ROC-AUC 0.82. Команда удержания физически может обзвонить около 3% базы в месяц и берёт клиентов с самым высоким скором. При пилоте выяснилось, что среди обзвоненных доля реально уходящих ненамного выше, чем в среднем по базе.

Как правильно оценивать и настраивать модель под такой сценарий?

  • Смотреть precision и lift на верхних 3% скора: качество ранжирования именно в этой зоне и определяет эффект
  • Понизить порог отсечения до 0.5: это поднимет recall и позволит покрыть коммуникацией больше уходящих клиентов
  • ROC-AUC уже усредняет качество по всем порогам, поэтому дополнительных метрик не нужно
  • Оптимизировать F1 на всей базе: это сбалансированный компромисс между precision и recall для любого сценария

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела