Вступить в клуб →

Accuracy 99.3% у модели фрода, которая не ловит фрод

Вы строите модель фрода. Доля мошеннических транзакций в данных — 0.7%. Первая версия модели показала accuracy 99.3% на отложенной выборке. При разборе оказалось, что модель почти всем транзакциям ставит класс «не фрод».

Какой вывод верен?

  • Модель работает: 99.3% верных ответов — хороший результат, порог можно донастроить уже после вывода в прод
  • Accuracy неинформативна: ту же цифру даёт константное предсказание, смотреть надо precision и recall по фроду
  • Accuracy занижена из-за дисбаланса, после балансировки классов она вырастет и станет корректной
  • Нужно сменить метрику на MAPE: она нормирует ошибку на масштаб и потому устойчива к редким событиям

Проверка ответа — в клубе

  • Мгновенная проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

регистрация занимает минуту

Другие задачи раздела