Мониторинг PD-модели, у которой таргет вызревает 12 месяцев
PD-модель работает в проде с прошлого месяца. Целевое событие — дефолт, который по определению фиксируется через 12 месяцев после выдачи. Риск-комитет просит ежемесячный отчёт о состоянии модели.
Что разумно положить в такой отчёт?
- Ежемесячно пересчитывать Gini на обучающей выборке и показывать его динамику как основной индикатор модели
- Стабильность скора и признаков (PSI, KS), долю одобрений по бинам и ранние прокси вроде просрочки 30+, Gini — по когортам
- Сравнивать скор новой модели со скором предыдущей версии и считать все расхождения ошибками новой модели
- Отчитываться, что до вызревания первой когорты через 12 месяцев объективных данных о качестве нет, и вернуться к теме через год