P6 通过时间的反向传播

发布时间 2024-01-02 14:16:08作者: 静听微风tom

通常在编程框架中实现反向处理是很简单的,因为编程框架是可以自动处理反向。

但是我们有必要了解RNNs中backprop是怎么运作的。

 我们为了实现反向传播,也就是把整个计算流程反向。

最关键的反向计算是a<0>--a<1>--a<2>--....--a<Tx>这一链的反向计算,这里使用了一种非常快速的计算方法,叫做“基于时间的反向传播算法”

前馈传播,从左到右计算,增加的变量是时间t

基于时间的反向传播算法,从右到左计算,延时间轴反向传播

我们会定义一个损失函数,假设一个序列中的一个确定的词,是人名,所以y1就是1,然后或许这个特定词是人名的概率是0.1 ,我们把这个定义为标准的逻辑回归损失,也叫交叉熵损失,这就是一个词在一个位置上的损失值

L是从x1到xTx的损失值的加总。