Модель с высоким AUC выдаёт вероятность 0,9 там, где дефолт случается в 40% случаев
Модель PD с ROC-AUC 0,85 используется для расчёта резервов. На валидации в группе заявок с прогнозом 0,85–0,95 фактическая доля дефолтов — 40%, в группе 0,05–0,15 — 2%. Ранжирование хорошее, но резервы по модели сильно завышены.
Что нужно сделать?
- Откалибровать вероятности на отложенной выборке
- Переобучить модель ради более высокого AUC
- Умножить все прогнозы на 0,5
- Использовать ранги вместо вероятностей в резервах