这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。
Dynamic ReLU (DY-ReLU)
对于给定的输入向量(或张量)x，DY-ReLU被定义为具有可学习参数θ(x)的函数fθ(x)(x)，该参数适应于输入x，它包括两个功能:
超函数θ(x):用于计算激活函数的参数。
激活函数fθ(x)(x):使用参数θ(x)生成所有通道的激活。
https://avoid.overfit.cn/post/8db206f03cd54167b9eb2d06ebaffc6b