Activation
activation functions summary and comparision
written in the foreword Any nonlinear function that has good derivative properties has the potential to become an activation function. So here, we wil ......
神经网络入门篇：详解为什么需要非线性激活函数？（why need a nonlinear activation function?）
为什么需要非线性激活函数？ 为什么神经网络需要非线性激活函数？事实证明：要让的神经网络能够计算出有趣的函数，必须使用非线性激活函数，证明如下： 这是神经网络正向传播的方程，现在去掉函数\(g\)，然后令\(a^{[1]} = z^{[1]}\)，或者也可以令\(g(z)=z\)，这个有时被叫做线性激 ......
神经网络入门篇：激活函数（Activation functions）
激活函数 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的博客只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。 在神经网路的前向传播中，\(a^{[1]} = \sigma(z^{[1]})\)和\(a^{[2]} =\sigma(z^ ......
问题记录 <VSCode Copilot 连接问题：Extension activation failed: "getaddrinfo EAI_AGAIN api.github.com"
问题描述 VSCode 使用Copilot时遇到如下问题： Extension activation failed: "getaddrinfo EAI_AGAIN api.github.com" 解决方式 笔者尝试了修改hosts、代理、重装插件等方法，但没有起效。 下面的方法解决了问题（在VSCo ......
soft Exponential activation function
全文 https://ieeexplore.ieee.org/document/7526959 Soft Exponential Activation Function A Soft Exponential Activation Function is a parametric neuron act ......