transformation simulation grounded learning
Visual Transformer 与归纳偏置
开端 ViT（Visual Transformer）是 2020 年 Google 团队提出的将 Transformer 应用在图像分类的模型，但是当训练数据集不够大的时候，ViT 的表现通常比同等大小的 ResNets 要差一些。 为什么呢？寻找答案的过程中，发现了 归纳偏置 这个概念。 在阅读 ......
transformers 系列
Attention 注意力机制【1】-入门篇 注意力机制【2】- CV中的注意力机制 注意力机制【3】-Self Attention 注意力机制【4】-多头注意力机制 注意力机制【5】Scaled Dot-Product Attention 和 mask attention 注意力机制【6】-tra ......
Pandas - apply、agg、transform 函数
apply：行或列的操作。 agg：聚合，可以传递字典，对多个列使用不同的函数。最终结果可能会合并，与原 DataFrame 列长度不保持一致。 transform：转换，也可以对多个列使用不同的函数。但是最终结果与原 DataFrame 列长度保持一致，不会聚合。 ......
Swin Transformer
Swin Transformer 目录Swin Transformer简介VIT的缺陷核心创新总体结构和运作网络细节Patch partitionLinear EmbeddingPatch MergingSwin Block模块W-MSASW-MSAAttention Mask计算成本分析主要优势S ......
VIT Vision Transformer
VIT Vision Transformer 目录VIT Vision TransformerViT模型结构图像划分PatchLinear Projection of Flatted PatchesPatch+Position Embedding分类向量和位置向量EncoderMLP Head（全连 ......
DETR基于Transformer目标检测
DETR基于Transformer目标检测 目录DETR基于Transformer目标检测DETR网络结构和NLP Transformer对比Object QueryFFN为什么DETR不需要NMS优缺点参考资料 DETR首次将Transformer应用到了目标检测任务中。图像会先经过一个传统的CN ......
机器学习Machine Learning
附件5：课程教学大纲参考模板 （注：各学院可采用该模板，也可自设模板，但每个学院需使用统一模板） 《机器学习》教学大纲 Teaching（Course）Outline of Machine Learning 第一部分 大纲说明（宋体，四号加粗，居中） 1．课程代码：329021003 2．课程类型： ......
Supervised Machine Learning : Regression and Classification
The course is available at : Supervised Machine Learning: Regression and Classification - Week 1: Introduction to Machine Learning - Week 1 | Coursera ......
【scikit-learn基础】--『监督学习』之 LASSO回归
LASSO（Least Absolute Shrinkage and Selection Operator）回归模型一般都是用英文缩写表示，硬要翻译的话，可翻译为 最小绝对收缩和选择算子。 它是一种线性回归模型的扩展，其主要目标是解决高维数据中的特征选择和正则化问题。 1. 概述 在LASSO中，通 ......
【五期李伟平】CCF-A（TMC'22）Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective
Zhang, Ning , Q. Ma , and X. Chen . "Enabling Long-Term Cooperation in Cross-Silo Federated Learning: A Repeated Game Perspective." (2022). 针对重复执行跨筒仓联 ......
【Transformer 基础系列】手推显存占用
https://zhuanlan.zhihu.com/p/648924115 本文试图以最清晰的方式手动推导 Transformers 每一步的参数量到显存、计算量问题。理解底层，才能更好的做训练和优化。可能是目前最全的大模型显存优化方案分析。 本文内容包括（1）模型训练和推理过程中的显存占用（2） ......
【五期李伟平】CCF-A（S&P'20）The Value of Collaboration in Convex Machine Learning with Differential Privacy
Nan W., et al. “The Value of Collaboration in Convex Machine Learning with Differential Privacy.” 2020 IEEE Symposium on Security and Privacy. 304-317 ......
Unity3D 通过transform实现人物移动还是velocity详解
Unity3D是一款非常流行的游戏引擎，它提供了多种方式来实现游戏中的人物移动。其中，最常用的两种方法是通过transform组件和通过velocity属性来实现。 对啦！这里有个游戏开发交流小组里面聚集了一帮热爱学习游戏的零基础小白，也有一些正在从事游戏开发的技术大佬，欢迎你来交流学习。 通过tr ......
某宝上搞来的电子书，经典的量化投资书籍，《Advances in Financial Machine Learning》—— 《金融机器学习的进展》、《量化投资与机器学习》、《金融机器学习研究进展》
英文书名： 《Advances in Financial Machine Learning》 经典的量化投资书籍，某宝上6元搞来的电子版： ......
【scikit-learn基础】--『监督学习』之 岭回归
岭回归（Ridge Regression）是一种用于处理共线性数据的线性回归改进方法。和上一篇用基于最小二乘法的线性回归相比，它通过放弃最小二乘的无偏性，以损失部分信息、降低精度为代价来获得更实际和可靠性更强的回归系数。 1. 概述 岭回归的模型对于存在大量相关特征（这些特征之间存在很高的相关性）的 ......
【scikit-learn基础】--『监督学习』之 线性回归
线性回归是一种用于连续型分布预测的机器学习算法。其基本思想是通过拟合一个线性函数来最小化样本数据和预测函数之间的误差。 1. 概述 常见的线性回归模型就是：\(f(x) = w_0+w_1x_1+w_2x_2+...+w_nx_n\)这样的一个函数。其中 \((w_1,w_2,...w_n)\)是模 ......
kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut ......
强化学习研究方向(研究领域）现有的不足（短板、无法落地性） —— Why You (Probably) Shouldn’t Use Reinforcement Learning
外文原文： Why You (Probably) Shouldn’t Use Reinforcement Learning 地址： https://towardsdatascience.com/why-you-shouldnt-use-reinforcement-learning-163bae193 ......
FLAC: Federated Learning with Autoencoder Compression and Convergence Guarantee-2022
目的：减少通信量(成本)，例如VGGNet架构具有大约1.38亿个参数（4264 Mb） 方法：具有自动编码器压缩（Autoencoder Compression）且具有收敛保证（Convergence Guarantee）；利用冗余信息（the redundant information）和FL的 ......
A novel local-global dependency deep learning model for soil mapping
程哥的一区文章 “A novel local-global dependency deep learning model for soil mapping” (Li 和 Zhang, 2022, pp. -) (pdf) 研究问题：“工 程 “ discrete” 特征不能反映环境协变量 之间 的相 ......
[论文阅读] Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation
Pre title: Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation accepted: ICME 2023 paper: https://ieeexplore.ie ......
transformer 预测 ENSO
第一篇《A self-attention–based neural network for threedimensional multivariate modeling and its skillful ENSO predictions 》 发表在Sci Adv. 张荣华 起名3D-Geoforme ......
How to Master the Popular DBSCAN Clustering Algorithm for Machine Learning
Overview DBSCAN clustering is an underrated yet super useful clustering algorithm for unsupervised learning problems Learn how DBSCAN clustering works ......
【scikit-learn基础】--『预处理』之 缺失值处理
数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以 提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性 整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集 提高数据性能，对数据的值进行变换，规约等（比如无量纲化），让算法更加 ......
论文精读：ST2Vec：道路网络中的时空轨迹相似性学习（ST2Vec: Spatio_Temporal Trajectory Similarity Learning in Road Networks）
论文精读：ST2Vec 道路网络中的时空轨迹相似性学习 《ST2Vec: Spatio-Temporal Trajectory Similarity Learning in Road Networks》 论文链接：https://doi.org/10.48550/arXiv.2112.09339 一 ......
可视化学习：CSS transform与仿射变换
在几年前，我就在一些博客中看到关于CSS中transform的分析，讲到它与线性代数中矩阵的关系，但当时由于使用transform比较少，再加上我毕竟是个数学学渣，对数学有点畏难心理，就有点看不下去，所以只是随便扫了两眼，就没有再继续了解了。现在在学习可视化，又遇到了这个点，又说到这是可视化的基础知... ......
【scikit-learn基础】--『预处理』之 离散化
数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以 提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性 整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集 提高数据性能，对数据的值进行变换，规约等（比如无量纲化），让算法更加 ......
Hierarchical Clustering-based Personalized Federated Learning for Robust and Fair Human Activity Recognition-2023
任务：人类活动识别任务Human Activity Recognition HAR 指标：系统准确性、公平性、鲁棒性、可扩展性 方法：1. 提出一个带有层次聚类（针对鲁棒性和公平的HAR）个性化的FL框架FedCHAR；通过聚类（利用用户之间的内在相似关系）提高模型性能的准确性、公平性、鲁棒性。 2 ......
transformer总体架构
transformer总体架构 目录transformer总体架构循环神经网络总体架构EncoderDecoder输入输出层模型输入位置编码模型输出自注意力机制关于QKV的理解Q, K, V 及注意力计算多头注意力机制多头注意力机制作用Feed Forward 层参考资料 论文地址：Attentio ......
transformer补充细节
transformer补充细节 目录transformer补充细节注意力机制细节为什么对点积注意力进行缩放多头带来的好处数据流训练时数据流推理时数据流解码器中注意力的不同带掩码的注意力机制位置编码整型数值标记[0,1]范围标记位置二进制标记周期函数标识用sin和cos交替来表示位置训练测试细节参考资 ......