gradients-how inverting gradients federated
【五期李伟平】CCF-A（AAAI'21）Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
Nagalapatti, Lokesh , and R. Narayanam . "Game of Gradients: Mitigating Irrelevant Clients in Federated Learning." (2021). 针对联邦学习中相关客户端选择（FRCS）的问题，本文提 ......
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 ......
神经网络优化篇：详解Mini-batch 梯度下降（Mini-batch gradient descent）
Mini-batch 梯度下降 机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助快速训练模型。 其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练 ......
神经网络优化篇：梯度检验应用的注意事项（Gradient Checking Implementation Notes）
梯度检验应用的注意事项 分享一些关于如何在神经网络实施梯度检验的实用技巧和注意事项。 首先，不要在训练中使用梯度检验，它只用于调试。意思是，计算所有\(i\)值的\(d\theta_{\text{approx}}\left[i\right]\)是一个非常漫长的计算过程，为了实施梯度下降，必须使用\( ......
CSS: Button with Gradient Border
from: https://codepen.io/airen/pen/OaVopb <!doctype html> <html> <head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, init ......
css: rainbow Border with gradient and radius
<!doctype html> <html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device ......
神经网络优化篇：详解梯度检验（Gradient checking）
梯度检验 梯度检验帮节省了很多时间，也多次帮发现backprop实施过程中的bug，接下来，看看如何利用它来调试或检验backprop的实施是否正确。 假设的网络中含有下列参数，\(W^{[1]}\)和\(b^{[1]}\)……\(W^{[l]}\)和\(b^{[l]}\)，为了执行梯度检验，首先要 ......
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。 先画出函数\(f\)，标记为\(f\left( \thet ......
神经网络优化篇：详解神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing / Exploding gradients）
神经网络的权重初始化 这是一个神经单元初始化地例子，然后再演变到整个深度网络。 来看看只有一个神经元的情况，然后才是深度网络。 单个神经元可能有4个输入特征，从\(x_{1}\)到\(x_{4}\)，经过\(a=g(z)\)处理，最终得到\(\hat{y}\)，稍后讲深度网络时，这些输入表示为\(a ......
SciTech-BigDataAIML-Tensorflow-Introduction to Gradients and Automatic Differentiation
In this guide, you will explore ways to compute gradients with TensorFlow, especially in eager execution. Automatic Differentiation and Gradients Auto ......
神经网络优化篇：详解梯度消失/梯度爆炸（Vanishing / Exploding gradients）
梯度消失/梯度爆炸 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 接下来，将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。 ......
【五期李伟平】CCF-A（TMC'22）Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective
Zhang, Ning , Q. Ma , and X. Chen . "Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective." (2022). 针对重复执行跨筒仓联 ......
FLAC: Federated Learning with Autoencoder Compression and Convergence Guarantee-2022
目的：减少通信量(成本)，例如VGGNet架构具有大约1.38亿个参数（4264 Mb） 方法：具有自动编码器压缩（Autoencoder Compression）且具有收敛保证（Convergence Guarantee）；利用冗余信息（the redundant information）和FL的 ......
FCC(Federal Communications Commission)授权许可及其FCC ID和FCC批文查询
以SANWA(山业)销售的： GSKBBT066(带触控板)， 官网说明书 manual Title: GSKBBT066_manual200831 Created Date: 6/21/2021 10:04:09 AM BT.V.: 3.0C.2 USB Micro？ GSKBBT066-SUN( ......
Hierarchical Clustering-based Personalized Federated Learning for Robust and Fair Human Activity Recognition-2023
任务：人类活动识别任务Human Activity Recognition HAR 指标：系统准确性、公平性、鲁棒性、可扩展性 方法：1. 提出一个带有层次聚类（针对鲁棒性和公平的HAR）个性化的FL框架FedCHAR；通过聚类（利用用户之间的内在相似关系）提高模型性能的准确性、公平性、鲁棒性。 2 ......
css渐变背景，linear-gradient()线性渐变和radial-gradient()径向渐变
1.简单的线性渐变 .layout{ width: 100%; min-height: 100vh; background: linear-gradient(#FFE8E9,rgba(0,0,0,0) 200px); } 2.层叠多层的渐变（左右+上下+背景图） .layout{ width: 10 ......
基于 Webpack5 Module Federation 的业务解耦实践
我们是袋鼠云数栈 UED 团队，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。 本文作者：贝儿 前言 本文中会提到很多目前数栈中使用的特定名词，统一做下解释描述 dt-common：每个子产品都会引入的公共包(类似 NPM 包) AppMenus： ......
Matlab中gradient函数 梯度计算原理
Gradient(F)函数求的是数值上的梯度，假设F为矩阵.Gradient算法 >> x=[6,9,3,4,0;5,4,1,2,5;6,7,7,8,0;7,8,9,10,0]x = 6 9 3 4 0 5 4 1 2 5 6 7 7 8 0 7 8 9 10 0 >> [Fx,Fy]=grad ......
prometheus federate特性（数据维度抽取）
一、背景描述： prometheus存有大量的监控明细数据，但是报表或者大屏监控需要的是更高维度的数据统计。如果直接从明细数据统计，很可能会因为数据量 过大而导致查询缓慢，甚至prometheus发生OOM。 二、解决思路： 借助prometheus提供的federate特性和recording r ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
Federated Learning005
联邦学习——笔记005 2023.11.27周一，最近支原体肺炎高发。研一上课结了一部分，赶紧看论文。 时隔大半年，今天开始学习联邦学习的大综述————Advances and Open Problems in Federated Learning（联邦学习中的最新进展和开放问题） Introduc ......
神经网络入门篇：神经网络的梯度下降（Gradient descent for neural networks）
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} ......
Dynamic Client Association for Energy-Aware Hierarchical Federated Learning
1 简单说明 这个文章是讲基于能量意识的动态用户选择， 在hfl的框架下。 因为边缘服务器到客户端这个层级存在着一些选择的关系。 发表在wcnc，一个c类会议上。 2 摘要 Abstract-Federated learning (FL) has become a promising solutio ......
Approximation with Gradient Descent Method
title: Approximation with Gradient Descent Method layout: page categories: data analysis Polynomial Approximation with Gradient Descent Method Suppose ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
【流行前沿】DRAG Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data
今天再分享一篇9月的联邦学习领域处理异构数据分布的文章。看挂名是复旦的王昕，总的来说只能算是踏实的工作，但是新意上确实不太够。 文章的主要处理对象是解决异构数据在联邦训练中的client-drift问题，当然与很多相似论文一样，也将这个方法迁移到了拜占庭攻击的防范上。不过这个robustness仅通 ......
转：pytorch并行训练时报错 one of the variables needed for gradient computation has been modified by an inplace operation
【PyTorch踩坑】一个排查了一下午的坑 - 知乎 (zhihu.com) ......
【五期邹昱夫】CCF-A（TIFS'23）SAFELearning: Secure Aggregation in Federated Learning with Backdoor Detectability
> "Zhang, Zhuosheng, et al. "SAFELearning: Secure Aggregation in Federated Learning with Backdoor Detectability." IEEE Transactions on Information For ......
CF1839C Insert Zero and Invert Prefix 题解
首先考虑无解的情况，很明显 $a_n$ 必须为 $0$，否则没有解，因为如果最后一位为 $1$ 那么必须有 $n$ 这个数存在于 $b$ 序列中，而这种情况时不符合题意的。 然后考虑如何求解，先考虑一种比较特殊的情况，就是若干个 $1$ 后面接着一个 $0$，这里假设 $1$ 的数量有 $k$ 个， ......
【五期邹昱夫】CCF-A（SP'23）3DFed: Adaptive and Extensible Framework for Covert Backdoor Attack in Federated Learning
> "Li, Haoyang, et al. "3DFed: Adaptive and Extensible Framework for Covert Backdoor Attack in Federated Learning." 2023 IEEE Symposium on Security an ......