BFGS

牛顿法 \(F(x+\Delta x)=F(x)+F'(x)\Delta x+\frac{1}{2}F''(x)\Delta x^2\) 泰勒展开之后保留二次项 然后对展开式再进行求导 令导数等于0 直接得到前进的步长和方向 即\(Hx = b\)这里的\(x\)就是牛顿法求解的前进步长和方向。 如 ......

1. 拟牛顿法 1.1 回顾牛顿法 牛顿法（经典牛顿法）的迭代表达式： \[x^{k + 1} = x^k - \nabla^2 f(x^k)^{-1} \nabla f(x^k) \]但是，牛顿法过程中 \(\text{Hessian}\) 矩阵 \(\nabla^2 f(x^k)\) 的计算和存 ......

BFGS算法矩阵$ B_k $的迭代公式为： $$B_{k+1}=B_k+\frac{y_ky_k^T}{y_k^T\delta_k}-\frac{B_k\delta_k\delta_k^TB_k}{\delta_k^TB_k\delta_k}$$ Sherman-Morrison公式为： 假设 A ......