После oversampling фрода вероятности модели перестали соответствовать реальности
Фрод — 0,5% транзакций. Команда размножила фрод до 50% выборки, AUC вырос незначительно, но модель теперь выдаёт среднюю вероятность фрода 0,3. Отдел рисков использует вероятности для расчёта ожидаемых потерь, и оценки завышены в десятки раз.
Что стоило учесть?
- Балансировка сдвигает вероятности — их нужно калибровать
- Oversampling всегда повышает AUC в разы
- Для фрода нельзя использовать вероятности
- Нужно было размножить фрод до 90%