gradient descent
css 背景色渐变 line-gradient
background-image: linear-gradient(-55deg, #07265d, #0d3d92),linear-gradient(#2d323b, #2d323b); ......
Gradient Descent
Learning Rate 关于lr的问题 lr太小 模型收敛的很慢，时间开销大 lr太大 每次更新参数步子迈的很大，容易越过最优解 我们追求的是红色的情况 动态调整lr 基本原则：先大再小 在训练开始时，此时我们距离最优解还较远，lr可以设置稍大些，以较快的速度接近最优解。在训练的后期，此时我们已 ......
css 利用 linear-gradient 实现条纹背景
1. 水平条纹背景 当给背景设置渐变效果时，默认的渐变方向是垂直由上到下的，效果如下： { background: linear-gradient(#aaa, #ddd); } 尝试拉近色标的距离，会发现渐变区域变小了： { background: linear-gradient(#aaa 40%, ......
【五期邹昱夫】arXiv(22)iDLG: Improved Deep Leakage from Gradients
"Zhao B, Mopuri K R, Bilen H. idlg: Improved deep leakage from gradients[J]. arXiv preprint arXiv:2001.02610, 2020." 本文发现共享梯度肯定会泄露数据真实标签。我们提出了一种简单但可靠的 ......
【五期邹昱夫】CCF-A（NeurIPS'19）Deep leakage from gradients.
"Zhu, Ligeng, Zhijian Liu, and Song Han. "Deep leakage from gradients." Advances in neural information processing systems 32 (2019)." 本文从公开共享的梯度中获得私有训 ......
GCR Gradient Coreset based Replay Buffer Selection for Continual Learning
GCR: Gradient Coreset based Replay Buffer Selection for Continual Learning 摘要：本文提出了一种创新的重放缓冲区选择和更新策略，梯度核心集重放（GCR），使用一种设计优化标准。 该方法选择和维持一个“coreset” ，它非常 ......
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: ......
Phasic Policy Gradient
**发表时间：**2021（ICML 2021） **文章要点：**这篇文章想说，通常强化都有一个policy网络一个value网络，这两部分要么分开训两个网络，要么合到一起作为一个网络的两个头。分开的好处是policy和value互相不会影响，合到一起的好处是feature是共享的，训练的时候相互 ......
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2020 ......
论文阅读笔记：Descent methods for elastic body simulation on the GPU (源代码及实现细节)
材料来源于 Descent methods for elastic body simulation on the GPU, ACMTransactions on Graphics (TOG), 2016. 0. 概述 在本论文中，提出了一种***。下面将详细介绍该方法的源代码及实现细节，并对照论文中 ......
梯度下降算法 Gradient Descent
梯度下降算法 Gradient Descent 梯度下降算法是一种被广泛使用的优化算法。在读论文的时候碰到了一种参数优化问题： 在函数$F$中有若干参数是不确定的，已知$n$组训练数据，期望找到一组参数使得残差平方和最小。通俗一点地讲就是，选择最合适的参数，使得函数的预测值与真实值最相符。 $${ ......