Descent
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 ......
神经网络优化篇：详解Mini-batch 梯度下降（Mini-batch gradient descent）
Mini-batch 梯度下降 机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助快速训练模型。 其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练 ......
Mirror Descent
我们已经知道梯度下降的每一次迭代可以看作求\(\hat f(x)=f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{2\eta}\|x-x_k\|^2\)的最小值，而\(\hat f(x)\)的选取其实并不是唯一的，换言之我们不一定要选取二次函数。二次函 ......
神经网络入门篇：神经网络的梯度下降（Gradient descent for neural networks）
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} ......
The 2020 ICPC Asia Shenyang Regional Programming Contest J. Descent of Dragons
来道喜闻乐见的DS题，这题虽然比较套路但还是挺有趣的 一个朴素的想法就是用类似于珂朵莉树那样的方式维护所有内部等级相同的区间，但当操作数量上去后，显然分出的区间数量就变得不可控了，无法处理 另一个朴素的想法就是对于不同等级的龙维护它们的所有信息，直接暴力记录的话肯定不行，但考虑到操作的方式是从\(x ......
[机器学习复习笔记] Grandient Descent 梯度下降法
Grandient Descent 1. 梯度下降法 1.1 梯度与梯度下降 对于 一元函数 来说，梯度就是函数的导数；对于 多元函数 来说，梯度是一个由函数所有 偏微分 组成的向量。 梯度下降 是通过一步步迭代，使得所有 偏微分 的值达到最低。 可以以简单的 一元二次函数 \(y = (x - 1 ......
Approximation with Gradient Descent Method
title: Approximation with Gradient Descent Method layout: page categories: data analysis Polynomial Approximation with Gradient Descent Method Suppose ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
[机器学习] 3. 镜像下降 Mirror Descent 与线性耦合 Linear Coupling
ML Theory 太魔怔了！！！！！ 我们来考虑更快的下降算法。 对 \(L\)-smooth 的 Gradient Descent，我们有两种视角来看它。一种是局部视角，梯度方向相近的点的函数值一定会下降，另一种是全局视角，用一个二次函数为整个 \(f\) 提供了一个 lowerbound。当局 ......
选修-3-Gradient Descent
[Click](https://blog.csdn.net/qq_38689352/article/details/114783092) # 1. Review：梯度下降法 我们建立一个模型,需要为这个模型找到一组参数,这个参数可以最小化$Loss$.我们使用梯度下降法来找到这个参数.注意,下图的$ ......
Atcoder Grand Contest 060 D - Same Descent Set
先推式子。设 $f(S)$ 表示 decent 集合恰好为 $S$ 的排列个数，$g(S)$ 表示 $S$ 是 $p$ 的 decent 集合的一个子集的排列 $p$ 个数，$g'(\{a_1,a_2,\cdots,a_k\})=\dfrac{n!}{a_1!(a_2-a_1)!(a_3-a_2)! ......
Gradient Descent
Learning Rate 关于lr的问题 lr太小 模型收敛的很慢，时间开销大 lr太大 每次更新参数步子迈的很大，容易越过最优解 我们追求的是红色的情况 动态调整lr 基本原则：先大再小 在训练开始时，此时我们距离最优解还较远，lr可以设置稍大些，以较快的速度接近最优解。在训练的后期，此时我们已 ......
论文阅读笔记：Descent methods for elastic body simulation on the GPU (源代码及实现细节)
材料来源于 Descent methods for elastic body simulation on the GPU, ACMTransactions on Graphics (TOG), 2016. 0. 概述 在本论文中，提出了一种***。下面将详细介绍该方法的源代码及实现细节，并对照论文中 ......
梯度下降算法 Gradient Descent
梯度下降算法 Gradient Descent 梯度下降算法是一种被广泛使用的优化算法。在读论文的时候碰到了一种参数优化问题： 在函数$F$中有若干参数是不确定的，已知$n$组训练数据，期望找到一组参数使得残差平方和最小。通俗一点地讲就是，选择最合适的参数，使得函数的预测值与真实值最相符。 $${ ......