深度学习 训练模型 指标不变

发布时间 2023-06-30 16:41:33作者: chaosliang

在深度学习实验中遇到一个问题就是虽然loss有变化,但是在验证集中准确率一直没变,
且值接近你的验证集的正负样本比例。
这是因为,在模型中某一个位置使用看ReLU激活函数,导致值全都变换到了 非负数,再最后用sigmoid的时候全是>0.5的结果。

还有一种情况就是loss一直不变,这类情况说明反向传播失败或者梯度哪里有问题