好的，以下是常见最优化算法的公式，使用 Markdown 格式进行展示：
1. 梯度下降法（Gradient Descent）：
- 参数更新公式：
\(\theta^{(t+1)} = \theta^{(t)} - \alpha \nabla J(\theta^{(t)})\)
2. 随机梯度下降法（Stochastic Gradient Descent）： - 参数更新公式：
\(\theta^{(t+1)} = \theta^{(t)} - \alpha \nabla J_i(\theta^{(t)})\)
3. 牛顿法（Newton's Method）： - 参数更新公式：
\(\theta^{(t+1)} = \theta^{(t)} - H^{-1} \nabla J(\theta^{(t)})\)
4. 共轭梯度法（Conjugate Gradient）： - 参数更新公式：
\(\theta^{(t+1)} = \theta^{(t)} + \beta^{(t)}d^{(t)}\) - 更新方向计算公式：
\(d^{(t)} = -\nabla J(\theta^{(t)}) + \beta^{(t-1)}d^{(t-1)}\) - 步长计算公式：
\(\beta^{(t)} = \frac{{\nabla J(\theta^{(t)})}^T \nabla J(\theta^{(t)})}{{\nabla J(\theta^{(t-1)})}^T \nabla J(\theta^{(t-1)}}\)
5. 拟牛顿法（Quasi-Newton）： - 参数更新公式（BFGS法）：
\(\theta^{(t+1)} = \theta^{(t)} - H^{-1}_t \nabla J(\theta^{(t)})\) - 近似海森矩阵更新公式：
\(H_{t+1} = H_t + \frac{{\Delta \theta_t} {\Delta \theta_t}^T}{ {\Delta \theta_t}^T \Delta J_t} - \frac{H_t \Delta J_t \Delta J_t^T H_t}{\Delta J_t^T H_t \Delta J_t}\)
这些公式只是最优化算法中的一小部分。最优化算法非常丰富多样，还有许多其他的方法，如 L-BFGS、Adam、Adagrad 等等。每种算法都有其特定的公式和更新策略。如果您对特定的算法或公式有兴趣，请提供更多细节，以便我可以提供更详细和准确的回答。