transformer rethinking improving encoding
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION论文阅读笔记
Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 ......
An improved LSTM-based model for identifying high working intensity load segments of the tractor load spectrum
一区top Computers and Electronics in Agriculture 题目： “基于改进 lstm 的拖拉机载荷谱高工作强度载荷段识别模型” (pdf) “An improved LSTM-based model for identifying high working in ......
基于融合语义信息改进的内容推荐算法。Improved content recommendation algorithm integrating semantic information.
引言 路漫漫其修远兮，吾将上下而求索。每天一篇论文，做更好的自己。 本文读的这篇论文为发表于2023年5月28日的一篇名为《基于融合语义信息改进的内容推荐算法》（基于融合语义信息改进的内容推荐算法）的文章，文章主要介绍了基于内容的推荐技术在电子商务和教育领域的广泛应用，以及传统基于内容推荐技术在语义 ......
CF1506D - Epic Transformation
思路 用优先队列模拟 ac代码 #include <bits/stdc++.h> using namespace std; using i64 = long long; const i64 inf = 8e18; typedef pair<int, int> pii; const int N = 5 ......
hdu 6397 Character Encoding 容斥
我是链接 刷刷计数防止大脑萎缩 题意：给定n,m,k，要求我们选m个范围在[0,n−1]中的数，使得这m个数的和为k 其中n,m,k都是10^5以内 如果没有范围在[0,n−1]的限制，就是小球与盒子经典例题，答案就是C(k+m-1,m-1) 有这个限制的话，考虑容斥，我们强制1个数不合法（其他的数 ......
基于正则化的图自编码器在推荐算法中的应用 Application of graph auto-encoders based on regularization in recommendation algorithms
引言 看过的每一篇文章，都是对自己的提高。不积跬步无以至千里，不积小流无以成江海，积少成多，做更好的自己。 本文基于2023年4月6日发表于SCIPEERJ COMPUTER SCIENCE（PEERJ计算机科学）上的一篇名为《基于正则化的图自编码器在推荐算法中的应用》（Application of ......
LLM series: Transformer
🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
[NLP复习笔记] Transformer
1. Transformer 概述 1.1 整体结构 \(\text{Transformer}\) 主要由 \(\text{Encoder}\) 和 \(\text{Decoder}\) 两个部分组成。\(\text{Encoder}\) 部分有 \(N = 6\) 个相同的层，每层包含 一个 \( ......
RNN 和 Transformer 复杂度比较
这里假设BatchSize为 1，就是单样本的情况。 原始 RNN 块： （1）单步计算 H，包含两个矩阵向量乘法，和一个激活，复杂度HidSize² （2）一共有SeqLen步，所以整体复杂度SeqLen * HidSize² LSTM 块： （1）单步计算 F I C_hat O，包含八个矩阵向 ......
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
ICLR 2022: Anomaly Transformer论文阅读笔记+代码复现
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy（通过关联差异进行时序异常检测），主要提出了一种无监督的异常点检测算法，并在6个benchmarks上测试，获取良好结果。 论文链 ......
Pod Init Error: force_encoding': can't modify frozen String (FrozenError)
热烈欢迎，请直接点击！！！ 进入博主App Store主页，下载使用各个作品！！！ 注：博主将坚持每月上线一个新app！！ 如下图所示，切换Xcode为Xcode 13。 ......
初中英语优秀范文100篇-048My English Has Improved-我的英文水平提高了
PDF格式公众号回复关键字:SHCZFW048 记忆树 1 When I entered junior middle school,there were so many subjects that I had to stay up every night to review what I had l ......
概率霍夫变换（Progressive Probabilistic Hough Transform）原理详解
概率霍夫变换（Progressive Probabilistic Hough Transform）的原理很简单，如下所述： 1.随机获取边缘图像上的前景点，映射到极坐标系画曲线； 2.当极坐标系里面有交点达到最小投票数，将该点对应x-y坐标系的直线L找出来； 3.搜索边缘图像上前景点，在直线L上的点 ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......
Visual Transformer 与归纳偏置
开端 ViT（Visual Transformer）是 2020 年 Google 团队提出的将 Transformer 应用在图像分类的模型，但是当训练数据集不够大的时候，ViT 的表现通常比同等大小的 ResNets 要差一些。 为什么呢？寻找答案的过程中，发现了 归纳偏置 这个概念。 在阅读 ......
transformers 系列
Attention 注意力机制【1】-入门篇 注意力机制【2】- CV中的注意力机制 注意力机制【3】-Self Attention 注意力机制【4】-多头注意力机制 注意力机制【5】Scaled Dot-Product Attention 和 mask attention 注意力机制【6】-tra ......
Pandas - apply、agg、transform 函数
apply：行或列的操作。 agg：聚合，可以传递字典，对多个列使用不同的函数。最终结果可能会合并，与原 DataFrame 列长度不保持一致。 transform：转换，也可以对多个列使用不同的函数。但是最终结果与原 DataFrame 列长度保持一致，不会聚合。 ......
Swin Transformer
Swin Transformer 目录Swin Transformer简介VIT的缺陷核心创新总体结构和运作网络细节Patch partitionLinear EmbeddingPatch MergingSwin Block模块W-MSASW-MSAAttention Mask计算成本分析主要优势S ......
VIT Vision Transformer
VIT Vision Transformer 目录VIT Vision TransformerViT模型结构图像划分PatchLinear Projection of Flatted PatchesPatch+Position Embedding分类向量和位置向量EncoderMLP Head（全连 ......
DETR基于Transformer目标检测
DETR基于Transformer目标检测 目录DETR基于Transformer目标检测DETR网络结构和NLP Transformer对比Object QueryFFN为什么DETR不需要NMS优缺点参考资料 DETR首次将Transformer应用到了目标检测任务中。图像会先经过一个传统的CN ......
Failed to load resource: net::ERR_INCOMPLETE_CHUNKED_ENCODING。
前端间隔性报错：后端接口异常 浏览器审查，内容如下： 前端报错：Failed to load resource: net::ERR_INCOMPLETE_CHUNKED_ENCODING。 后端报错： Caused by: java.io.IOException: Broken pipe at su ......
初中英语优秀范文100篇-041Computer Improves My English Study-电脑有助于我英语学习
PDF格式公众号回复关键字:SHCZFW041 记忆树 1 Nowadays, we cannot live without computers for one day. 翻译 现在，我们一天都无法离开电脑。 简化记忆 电脑 句子结构 1Nowadays是副词，表示“现在”，作状语。 2we can ......
【Transformer 基础系列】手推显存占用
https://zhuanlan.zhihu.com/p/648924115 本文试图以最清晰的方式手动推导 Transformers 每一步的参数量到显存、计算量问题。理解底层，才能更好的做训练和优化。可能是目前最全的大模型显存优化方案分析。 本文内容包括（1）模型训练和推理过程中的显存占用（2） ......
Unity3D 通过transform实现人物移动还是velocity详解
Unity3D是一款非常流行的游戏引擎，它提供了多种方式来实现游戏中的人物移动。其中，最常用的两种方法是通过transform组件和通过velocity属性来实现。 对啦！这里有个游戏开发交流小组里面聚集了一帮热爱学习游戏的零基础小白，也有一些正在从事游戏开发的技术大佬，欢迎你来交流学习。 通过tr ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut ......
transformer 预测 ENSO
第一篇《A self-attention–based neural network for threedimensional multivariate modeling and its skillful ENSO predictions 》 发表在Sci Adv. 张荣华 起名3D-Geoforme ......