偏差与方差区别

发布时间 2023-11-11 11:20:46作者: tw_nlp

对偏差和方差的理解

 

  偏差是模型的预测值与你真实的点之间区别的位移,方差是指每次学习的东西差别多大。

  假设训练了五个模型,然后我让这五个模型去预测,如下图所示,蓝色点是我预测的,黄色的框里面是可以接受的范围,如果蓝色的点在圈里面,并且预测的点比较集中,那么就是低方差和低偏差;若蓝色的点都在圈外,但是预测的点比较集中,说明是低方差,高偏差;若预测的点都在圈里,但是点比较分散,说明高方差,低偏差。

  通过这三个例子,我们可以发现,偏差往往说的是模型的准确率,如果偏差大,说明模型的复杂度不太够,需要提高模型的复杂度。而偏差往往是说的模型的鲁棒性,如果方差大说明模型的泛化性不好,可以用L1正则、L2正则或者Dropout去解决。