系数矩阵为Hessian矩阵时的使用Pearlmutter trick的共轭梯度解法

发布时间 2023-05-31 18:57:25作者: Death_Knight

共轭梯度法已经在前文中给出介绍:

python版本的“共轭梯度法”算法代码

 

 

=======================================

 

 

使用共轭梯度法时,如果系数矩阵为Hessian矩阵,那么我们可以使用Pearlmutter trick技术来减少计算过程中的内存消耗,加速计算。

 

使用Pearlmutter trick的共轭梯度解法源自论文:

Fast Exact Multiplication by the Hessian

 

论文地址:

https://www.bcl.hamilton.ie/~barak/papers/nc-hessian.pdf