526互联

动量(momentum)

发布时间 2023-07-13 17:46:25作者: 同淋雪

动量(momentum)

动量类似于物理中的运动物体具有惯性，下一个时刻的运动方向，会与上个时刻的运动方向有关。

梯度下降的过程中，参数w朝着损失函数的偏导数的方向迭代，也就是下降得最快方向。

image-20230713170043310

而由于考虑到动量，这一次的迭代方向是与上次的方向有关的，令Z(k+1)为这次的迭代方向

image-20230713170344900

所以令

image-20230713171302315

用向量图可以表示为

image-20230713171400322

现在很多优化器内置了momentum，不用人为单独设置。