mitigating irrelevant federated gradients
【五期李伟平】CCF-A（AAAI'21）Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
Nagalapatti, Lokesh , and R. Narayanam . "Game of Gradients: Mitigating Irrelevant Clients in Federated Learning." (2021). 针对联邦学习中相关客户端选择（FRCS）的问题，本文提 ......
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 ......
神经网络优化篇：详解Mini-batch 梯度下降（Mini-batch gradient descent）
Mini-batch 梯度下降 机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助快速训练模型。 其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练 ......
神经网络优化篇：梯度检验应用的注意事项（Gradient Checking Implementation Notes）
梯度检验应用的注意事项 分享一些关于如何在神经网络实施梯度检验的实用技巧和注意事项。 首先，不要在训练中使用梯度检验，它只用于调试。意思是，计算所有\(i\)值的\(d\theta_{\text{approx}}\left[i\right]\)是一个非常漫长的计算过程，为了实施梯度下降，必须使用\( ......
CSS: Button with Gradient Border
from: https://codepen.io/airen/pen/OaVopb <!doctype html> <html> <head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, init ......
css: rainbow Border with gradient and radius
<!doctype html> <html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device ......
神经网络优化篇：详解梯度检验（Gradient checking）
梯度检验 梯度检验帮节省了很多时间，也多次帮发现backprop实施过程中的bug，接下来，看看如何利用它来调试或检验backprop的实施是否正确。 假设的网络中含有下列参数，\(W^{[1]}\)和\(b^{[1]}\)……\(W^{[l]}\)和\(b^{[l]}\)，为了执行梯度检验，首先要 ......
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。 先画出函数\(f\)，标记为\(f\left( \thet ......
神经网络优化篇：详解神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing / Exploding gradients）
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。 来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\(a ......
SciTech-BigDataAIML-Tensorflow-Introduction to Gradients and Automatic Differentiation
In this guide, you will explore ways to compute gradients with TensorFlow, especially in eager execution. Automatic Differentiation and Gradients Auto ......
神经网络优化篇：详解梯度消失/梯度爆炸（Vanishing / Exploding gradients）
梯度消失/梯度爆炸 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 接下来，将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。 ......
【五期李伟平】CCF-A（TMC'22）Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective
Zhang, Ning , Q. Ma , and X. Chen . "Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective." (2022). 针对重复执行跨筒仓联 ......
FLAC: Federated Learning with Autoencoder Compression and Convergence Guarantee-2022
目的：减少通信量(成本)，例如VGGNet架构具有大约1.38亿个参数（4264 Mb） 方法：具有自动编码器压缩（Autoencoder Compression）且具有收敛保证（Convergence Guarantee）；利用冗余信息（the redundant information）和FL的 ......
FCC(Federal Communications Commission)授权许可及其FCC ID和FCC批文查询
以SANWA(山业)销售的： GSKBBT066(带触控板)， 官网说明书 manual Title: GSKBBT066_manual200831 Created Date: 6/21/2021 10:04:09 AM BT.V.: 3.0C.2 USB Micro？ GSKBBT066-SUN( ......
Hierarchical Clustering-based Personalized Federated Learning for Robust and Fair Human Activity Recognition-2023
任务：人类活动识别任务Human Activity Recognition HAR 指标：系统准确性、公平性、鲁棒性、可扩展性 方法：1. 提出一个带有层次聚类（针对鲁棒性和公平的HAR）个性化的FL框架FedCHAR；通过聚类（利用用户之间的内在相似关系）提高模型性能的准确性、公平性、鲁棒性。 2 ......
css渐变背景，linear-gradient()线性渐变和radial-gradient()径向渐变
1.简单的线性渐变 .layout{ width: 100%; min-height: 100vh; background: linear-gradient(#FFE8E9,rgba(0,0,0,0) 200px); } 2.层叠多层的渐变（左右+上下+背景图） .layout{ width: 10 ......
基于 Webpack5 Module Federation 的业务解耦实践
我们是袋鼠云数栈 UED 团队，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。 本文作者：贝儿 前言 本文中会提到很多目前数栈中使用的特定名词，统一做下解释描述 dt-common：每个子产品都会引入的公共包(类似 NPM 包) AppMenus： ......
Matlab中gradient函数 梯度计算原理
Gradient(F)函数求的是数值上的梯度，假设F为矩阵.Gradient算法 >> x=[6,9,3,4,0;5,4,1,2,5;6,7,7,8,0;7,8,9,10,0]x = 6 9 3 4 0 5 4 1 2 5 6 7 7 8 0 7 8 9 10 0 >> [Fx,Fy]=grad ......
prometheus federate特性（数据维度抽取）
一、背景描述： prometheus存有大量的监控明细数据，但是报表或者大屏监控需要的是更高维度的数据统计。如果直接从明细数据统计，很可能会因为数据量 过大而导致查询缓慢，甚至prometheus发生OOM。 二、解决思路： 借助prometheus提供的federate特性和recording r ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
Federated Learning005
联邦学习——笔记005 2023.11.27周一，最近支原体肺炎高发。研一上课结了一部分，赶紧看论文。 时隔大半年，今天开始学习联邦学习的大综述————Advances and Open Problems in Federated Learning（联邦学习中的最新进展和开放问题） Introduc ......
神经网络入门篇：神经网络的梯度下降（Gradient descent for neural networks）
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} ......
Dynamic Client Association for Energy-Aware Hierarchical Federated Learning
1 简单说明 这个文章是讲基于能量意识的动态用户选择， 在hfl的框架下。 因为边缘服务器到客户端这个层级存在着一些选择的关系。 发表在wcnc，一个c类会议上。 2 摘要 Abstract-Federated learning (FL) has become a promising solutio ......
Mitigation of China’s carbon neutrality to global warming
Global warming since the preindustrial era has been primarily attributed to the increase in atmospheric CO2 concentrations, which mainly results from ......
measures to mitigate marine pollution
Reduce marine pollution by limiting the waste material. Stop using plastic-made material to save marine life and our environment. Clean the sea beache ......
Approximation with Gradient Descent Method
title: Approximation with Gradient Descent Method layout: page categories: data analysis Polynomial Approximation with Gradient Descent Method Suppose ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
【流行前沿】DRAG Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data
今天再分享一篇9月的联邦学习领域处理异构数据分布的文章。看挂名是复旦的王昕，总的来说只能算是踏实的工作，但是新意上确实不太够。 文章的主要处理对象是解决异构数据在联邦训练中的client-drift问题，当然与很多相似论文一样，也将这个方法迁移到了拜占庭攻击的防范上。不过这个robustness仅通 ......
转：pytorch并行训练时报错 one of the variables needed for gradient computation has been modified by an inplace operation
【PyTorch踩坑】一个排查了一下午的坑 - 知乎 (zhihu.com) ......
Bounce Tracking Mitigations All In One
Bounce Tracking Mitigations All In One
反弹跟踪缓解措施
......