Признак «число контактов службы взыскания» поднял AUC до 0.98
В модель вероятности дефолта добавили новый признак из витрины — «число контактов службы взыскания с клиентом». ROC-AUC на отложенной по времени выборке вырос с 0.79 до 0.98, признак стал самым важным. Скоринг применяется в момент подачи заявки, до выдачи кредита.
Что нужно сделать?
- Оставить признак, но снизить его вес, чтобы модель не опиралась только на него
- Убрать признак: на момент скоринга его значение ещё не существует, он появляется уже после дефолта
- Оставить: качество проверено на отложенной по времени выборке, а значит утечки нет
- Это переобучение на сильном признаке, добавить регуляризацию и ограничить глубину деревьев