Divergence
【流行前沿】DRAG Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data
今天再分享一篇9月的联邦学习领域处理异构数据分布的文章。看挂名是复旦的王昕，总的来说只能算是踏实的工作，但是新意上确实不太够。 文章的主要处理对象是解决异构数据在联邦训练中的client-drift问题，当然与很多相似论文一样，也将这个方法迁移到了拜占庭攻击的防范上。不过这个robustness仅通 ......
KL-Divergence KL散度
###KL散度（KL-divergence） 直观解释：KL 散度是一种衡量两个分布（比如两条线）之间的匹配程度的方法。 需要解决的问题：已知数据太大，逍遥使用较小的信息表示已知数据。用某种已知分布来表示真实统计数据，这样我们就可以只发送该分布的参数，而无需发送真实统计数据。 KL-divergen ......
Kullback-Leibler-divergence 和 Jensen–Shannon divergence 的计算示例
````python #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Jun 26 16:05:57 2020 @author: vkchlt0297 """ from matplotlib import pyplo ......