人工神经网络——学习笔记

发布时间 2023-03-29 13:54:17作者: MornHus

神经网络

什么是神经网络

人们一直对计算机人工智能进行着孜孜不倦的探索,迄今为止,最有可能实现也是已经实现智能化的算法就是人工神经网络(ANN)

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。

神经元激发方式

在生物学中,我们的神经元是二元激发态的:激发与非激发,但是,在计算机中我们认为每个神经元是一个实数变量,通常范围是 \([0,1]\)
在生物学中,几个神经元的激发会引起某个神经元的激发。为了模拟激发态,我们使用一个激发函数:

\(Sigmoid(x)=\frac{1}{1+e^{-x}}\)

该函数是 非线性 的,由此决定了神经激发也是非线性的。

神经元互联方式

神经网络的输入层是一连串神经元,每个神经元都记录了一个激发值 \(V_i\)

梯度下降

反向传播