Mish

前言 人们对激活函数都在不断探究，而现在广泛应用的激活函数通常是relu，tanh这两种 但是relu在负值的时候直接截断 梯度下降的不够平滑 因而有团队提出一种新的激活函数来进行优化 Mish激活函数 Mish激活函数的表达式为 Mish = x*tanh(ln(1+e^x)) 使用matplot ......