神经网络的梯度更新
反向传播算法:神经网络中加速计算参数梯度值的方法
梯度下降算法 -> 随机梯度下降、动量随机梯度
凸优化:
几何意义,任取一个集合中的两点练成一条线段,如果这条线段完全落在该集合中,那么这个集合就是凸集
BN训练测试:
BN本质上是解决传播过程中的梯度消失问题
神经网络的梯度更新
反向传播算法:神经网络中加速计算参数梯度值的方法
梯度下降算法 -> 随机梯度下降、动量随机梯度
凸优化:
几何意义,任取一个集合中的两点练成一条线段,如果这条线段完全落在该集合中,那么这个集合就是凸集
BN训练测试:
BN本质上是解决传播过程中的梯度消失问题