Accuracy 99.3% у модели фрода, которая не ловит фрод
Вы строите модель фрода. Доля мошеннических транзакций в данных — 0.7%. Первая версия модели показала accuracy 99.3% на отложенной выборке. При разборе оказалось, что модель почти всем транзакциям ставит класс «не фрод».
Какой вывод верен?
- Модель работает: 99.3% верных ответов — хороший результат, порог можно донастроить уже после вывода в прод
- Accuracy неинформативна: ту же цифру даёт константное предсказание, смотреть надо precision и recall по фроду
- Accuracy занижена из-за дисбаланса, после балансировки классов она вырастет и станет корректной
- Нужно сменить метрику на MAPE: она нормирует ошибку на масштаб и потому устойчива к редким событиям