4.7.1 前向传播
整节理论，详见书本。
4.7.2 前向传播计算图
整节理论，详见书本。
4.7.3 反向传播
整节理论，详见书本。
4.7.4 训练神经网络
整节理论，详见书本。
练习
（1）假设一些标量函数 \(X\) 的输入 \(X\) 是 \(n\times m\) 矩阵。\(f\) 相对于 \(X\) 的梯度的维数是多少？
还是 \(n\times m\)，多少个变量就是多少个导数嘛。
（2）向本节中描述的模型的隐藏层添加偏置项（不需要再正则化项中包含偏置项）。
a.绘制出相应的计算图。
b.推导前向传播和反向传播方程。
b. 仍假设输入样本是 \(\boldsymbol{x}\in\mathbb{R}^d\)，则前向传播为：
\[\begin{align}
\boldsymbol{z}&=\boldsymbol{W}^{(1)}\boldsymbol{x}+b\\
\boldsymbol{h}&=\phi(\boldsymbol{z})\\
\boldsymbol{o}&=\boldsymbol{W}^{(2)}\boldsymbol{h}+b\\
L&=l(\boldsymbol{o},y)\\
s&=\frac{\lambda}{2}(||\boldsymbol{W}^{(1)}||^2_F+||\boldsymbol{W}^{(2)}||^2_F)\\
J&=L+s
\end{align}
\]
反向传播为：
\[\begin{align}
\frac{\partial J}{\partial L}&=1,\frac{\partial J}{\partial s}=1\\
\frac{\partial J}{\partial\boldsymbol{o}}&=\frac{\partial J}{\partial L}\frac{\partial L}{\partial\boldsymbol{o}}=\frac{\partial L}{\partial\boldsymbol{o}}\in\mathbb{R}^q\\
\frac{\partial s}{\partial\boldsymbol{W}^{(1)}}&=\lambda\boldsymbol{W}^{(1)},\frac{\partial s}{\partial\boldsymbol{W}^{(2)}}=\lambda\boldsymbol{W}^{(2)}\\
\frac{\partial J}{\partial\boldsymbol{W}^{(2)}}&=\frac{\partial J}{\partial\boldsymbol{o}}\frac{\partial\boldsymbol{o}}{\partial\boldsymbol{W}^{(2)}}+\frac{\partial J}{\partial s}\frac{\partial s}{\partial\boldsymbol{W}^{(2)}}=\frac{\partial J}{\partial\boldsymbol{o}}\boldsymbol{h}^T+\lambda\boldsymbol{W}^{(2)}\\
\frac{\partial J}{\partial\boldsymbol{h}}&=\frac{\partial J}{\partial\boldsymbol{o}}\frac{\partial\boldsymbol{o}}{\partial\boldsymbol{h}}=\boldsymbol{W}^{(2)T}\frac{\partial J}{\partial\boldsymbol{o}}\\
\frac{\partial J}{\partial\boldsymbol{z}}&=\frac{\partial J}{\partial\boldsymbol{h}}\frac{\partial\boldsymbol{h}}{\partial\boldsymbol{z}}=\frac{\partial J}{\partial\boldsymbol{h}}\odot\phi'(\boldsymbol{z})\\
\frac{\partial J}{\partial\boldsymbol{W}^{(1)}}&=\frac{\partial J}{\partial\boldsymbol{z}}\frac{\partial\boldsymbol{z}}{\partial\boldsymbol{W}^{(1)}}+\frac{\partial J}{\partial s}\frac{\partial s}{\partial\boldsymbol{W}^{(1)}}=\frac{\partial J}{\partial\boldsymbol{z}}\boldsymbol{x}^T+\lambda\boldsymbol{W}^{(1)}
\end{align}
\]
a. 计算图为：
（3）计算本节所描述的模型用于训练和预测的内存空间。
不会，略。
（4）假设想计算二阶导数。计算图会发生什么变化？预计计算需要多长时间？
二阶计算图应该是在保留一阶计算图的基础上继续拓展出来的，需要的时间大抵是二倍吧。
（5）假设计算图对于当前的GPU来说太大了。
a. 请尝试把它划分到多个GPU上。
b. 这与小批量训练相比，有哪些优点和缺点。
a. 应使用 torch.nn.DataParallel 进行并行运算。
b.
batch_size够大则会由于并行计算而加快速度
batch_size不够大时反而会因为多卡之间的通信以及数据拆分与合并的额外开销导致效率反而更低。