XGB调参思路

发布时间 2023-12-09 14:37:11作者: 广爷天下无双

(1)选择较高的学习率,例如learning_rate=0.1,这样可以减少迭代用时。

(2)然后对 (max_depth , min_child_weight) ,

(3)在第二步确定的基础上调整 gamma ,

(4)subsample, colsample_bytree 这些参数进行调整。

(5)调整正则化参数 lambda , alpha

(6)降低学习率,

这些参数的合适候选值为:

max_depth:[3, 5, 6, 7, 9, 12, 15, 17, 25]

min_child_weight:[1, 3, 5, 7]

gamma:[0, 0.05 ~ 0.1, 0.3, 0.5, 0.7, 0.9, 1]

subsample:[0.6, 0.7, 0.8, 0.9, 1]

colsample_bytree:[0.6, 0.7, 0.8, 0.9, 1]

调整正则化参数 lambda , alpha,这些参数的合适候选值为

alpha:[0, 0.01~0.1, 1]

lambda :[0, 0.1, 0.5, 1]

降低学习率,继续调整参数,学习率合适候选值为:[0.01, 0.015, 0.025, 0.05, 0.1,0.2]

LGBM调参思路