脉冲神经网络理论基础(1)

发布时间 2023-07-20 16:43:58作者: undermyth

神经元的基本结构(高中生物x)

截屏2023-07-20 下午4.31.35

图源wiki。

接收区(receptive zone):为树突(dendrite)到胞体(soma)的部分。在计算建模时,往往把树突作为接受区看待。树突接受突触前神经元的信号,在ANN结构中表现为当前神经元接受前一层的输入,并以突触的权重进行加权和。

触发区(trigger zone):为细胞体与轴突交接的部分,即轴丘(axon hillock)。在计算建模时,将胞体作为触发区看待。这一部分决定是否产生动作电位,在ANN中对应于激活函数。

传导区(conducting zone):为轴突(axon),动作电位的电信号传导的线路。

输出区(output zone):在神经末梢通过突触结构完成电-化学转换,对应于ANN结构中的权值(大约是)。

泄漏发放模型(Leaky Integrate-and-Fire, LIF)

Integrate-and-Fire

参考Neuronal Dynamics: From Single Neurons to Networks and Models of Cognition。这本书做得挺完善的,是一本免费的线上书,并且在网站上有配套的jupyter notebook和视频。网站在https://neuronaldynamics.epfl.ch/index.html。

Integrate-and-Fire的定义是:

Neuron models where action potentials are described as events are called “integrate-andfire” models. No attempt is made to describe the shape of an action potential.

这样假设的前提是,神经元发出的脉冲在形状上都差不多,不太可能在脉冲的形状上承载信息。做出这个假设之后,一个脉冲实际上被简化成一个"event",即一个“事件”,是时间轴上的一个点。

这个模型中需要描述的有两件事情:(1)突触后电位如何随时间变化;(2)何种条件下触发动作电位。

考虑一个神经元\(j\)对一个神经元\(i\)传递脉冲的过程。记录一个函数\(\epsilon_{ij}(t)\),表示如果神经元\(i\)对神经元\(j\)\(t=0\)时刻开始发出脉冲,脉冲值随时间的变化。(实际上就是记录脉冲本身形状的一个函数)在达到触发动作电位的阈值\(\theta\)之前,我们认为突触后神经元接受到的信号直接进行累加,即

\[u_i(t)=\sum_{j}\sum_{f}\epsilon_{ij}(t-t_j^f)+u_{rest} \]

两重求和表示对于不同的突触前神经元、同一神经元发出的不同脉冲进行求和。上标\(f\)表示神经元电位达到\(\theta\)的时刻,即

\[u_j(t_j^f)=\theta,u_j'(t_j^f)\gt0 \]

Leaky Integrate-and-Fire

LIF模型用一个一阶动力学方程来描述突触后电位的变化,在电位超过一定阈值时触发动作电位。

LIF认为当突触前神经元的电信号传导到突触后时,电荷肯定要有去向。将突触后神经元看作电容\(C\),这一部分电荷首先充入电容。随后这一部分电荷会泄漏出去,将突触后神经元看作电阻\(R\)。于是整个过程抽象成以下电路:

截屏2023-07-20 下午4.32.13

然后就是电学原理进行一个乱推,得到本质上是一个欧姆定律的等式:

\[\tau_m\frac{\mathrm{d}u}{\mathrm{d}t}=-(u(t)-u_{rest})+RI(t), \tau_m=RC \]

如果撤去输入\(I(t)=0\),显然会得到一个负指数衰减的结果。

这是第一部分的内容。对于动作电位的触发,根据Integrate-and-Fire的假设,本质上就是一个Dirac \(\delta\)-函数。所以,在达到临界值之后,

\[\lim_{\delta\rightarrow0^+}u(t^f+\delta)=u_r,u_r<\theta \]

\(u_r\)并不是静息电位,它应该比静息电位来得更小,以模拟超极化和不应期。此后,电位继续遵循上述微分方程变化。

突触可塑性(synaptic plasticity)

生物原理

突触可塑性是神经元之间通过改变连接的强度从而进行学习的性质。

赫布规则(Hebb Rule):

当A细胞重复或持续地参与激活B细胞时,两个细胞间会发生某种生长过程或代谢变化,使得A细胞激活B细胞的效率得到提高。换言之,同时激活的细胞将彼此相连。

赫布规则将神经元群的协同表现缩小定位到单个突触当中。两个神经元之间联系的改变可以体现在长时程增强作用(long-term potentiation, LTP),或者长时程抑制作用(long-term depression, LTD)上。

LTP最早于1966年,在对海马体对短期记忆的研究中发现。具体表现为如果对突触前神经元进行高频率的刺激,后续再对突触前神经元施加单个刺激时,兴奋性的突触后电位会变得更强烈、延续时间更长。LTD则是相反的过程。LTD的性质可以从下面的STDP数学描述中看出来。

“同时激活的细胞将彼此相连”的说法还没有考虑到时间上的因素,在一定的时间窗口内,突触前-突触后的神经元释放会引起LTP,相反的顺序会引起LTD。这种现象称为脉冲时间相关的突触可塑性(spike-timing dependent plasticity, STDP)。

STDP作为一种可塑性规则,同时也作为一种无监督学习的权重调整原理。数学描述如下:

\[\Delta w_{ij} = \begin{cases}a^+e^{\frac{t_j-t_i}{\tau^+}}, t_j-t_i\ge0\\a^-e^{\frac{t_i-t_j}{\tau^-}},t_j-t_i\lt0 \end{cases} \]

使用了指数衰减对时间间隔的影响进行建模,实践上可能还会进一步简化。\(a^+,a^-\)刻画了LTP和LTD激活的程度,\(\tau^+,\tau^-\)刻画了两者的时间窗口。

除了突触前后的神经元活动之外,神经调质(neuromodulator)也会影响突触的可塑性。关于神经调质的解释参考:https://www.news-medical.net/health/What-is-Neuromodulation.aspx。神经调质的构成物质是神经递质的子集,但与神经递质不同,神经调质作用于很多而非单个神经组织,从而能够影响到整个大脑区域的活动。神经调质作为在学习过程中调控整体网络的权重的物质存在。

数据格式转换

原始数据到脉冲数据

这是在Rethinking the performance comparison between SNNS and ANNS中看到的。这篇文章采用的例子是图像的处理。

文中介绍的方法是随机采样(Probablistic sampling)。对于每一个像素点,考察像素强度(pixel intensity, 我也不是很清楚什么叫像素强度,没学过数字图像处理orz),并将其归一化作为概率使用。在每一个时间步,每一个像素点采到的或者为0或者为1,为1的概率即为这个概率。

这种做法会在短的时间窗口上造成精度损失(?),更进阶的做法是在图像输入与脉冲输出之间构造一层全连接,使其能够感受到全局的特征。这层全连接的输入是ANN数据,输出是脉冲数据。(就挺怪的)

脉冲数据到原始数据

我理解起来感觉没什么好说的,就是延时间方向进行展开,然后进行聚合。我觉得它讨论的应该是灰度图。

先写到这,脑子受不了了qwq