Gradients
【五期李伟平】CCF-A（AAAI'21）Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
Nagalapatti, Lokesh , and R. Narayanam . "Game of Gradients: Mitigating Irrelevant Clients in Federated Learning." (2021). 针对联邦学习中相关客户端选择（FRCS）的问题，本文提 ......
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。 先画出函数\(f\)，标记为\(f\left( \thet ......
神经网络优化篇：详解神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing / Exploding gradients）
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。 来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\(a ......
SciTech-BigDataAIML-Tensorflow-Introduction to Gradients and Automatic Differentiation
In this guide, you will explore ways to compute gradients with TensorFlow, especially in eager execution. Automatic Differentiation and Gradients Auto ......
神经网络优化篇：详解梯度消失/梯度爆炸（Vanishing / Exploding gradients）
梯度消失/梯度爆炸 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 接下来，将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。 ......
【五期邹昱夫】CCF-A（NeurIPS'19）Inverting gradients-how easy is it to break privacy in federated learning?
"Geiping J, Bauermeister H, Dröge H, et al. Inverting gradients-how easy is it to break privacy in federated learning?[J]. Advances in Neural Informat ......
【五期邹昱夫】arXiv(22)iDLG: Improved Deep Leakage from Gradients
"Zhao B, Mopuri K R, Bilen H. idlg: Improved deep leakage from gradients[J]. arXiv preprint arXiv:2001.02610, 2020." 本文发现共享梯度肯定会泄露数据真实标签。我们提出了一种简单但可靠的 ......
【五期邹昱夫】CCF-A（NeurIPS'19）Deep leakage from gradients.
"Zhu, Ligeng, Zhijian Liu, and Song Han. "Deep leakage from gradients." Advances in neural information processing systems 32 (2019)." 本文从公开共享的梯度中获得私有训 ......
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2020 ......