AUC на обучении 0,999, на валидации 0,74 после увеличения глубины до 16
Чтобы «выжать» качество, в LightGBM поставили num_leaves=4000, max_depth=16, min_child_samples=1, 5 000 деревьев без ранней остановки. На обучении AUC 0,999, на валидации упал с 0,79 до 0,74. В выборке 60 тысяч строк.
Какие изменения вернут качество?
- Меньше листьев, больше min_child_samples, early stopping
- Ещё больше деревьев и выше learning_rate
- Убрать валидацию и смотреть только обучение
- Поставить min_child_samples=0