Ранняя остановка бустинга по той же выборке, на которой считают итоговое качество
Коллега обучает LightGBM с early_stopping и в качестве eval_set передаёт тестовую выборку. Число деревьев подбирается по ней, и итоговый AUC в отчёте считается на ней же — 0,84. В проде модель показывает 0,81.
Что не так?
- Тест использован для подбора числа деревьев
- Ранняя остановка всегда ухудшает качество
- LightGBM нельзя оценивать по AUC
- Нужно было выключить регуляризацию