transformers handwriting论文
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。 大型语言模 ......
transformer中decoder到底是串行还是并行
在Transformer中，Decoder部分内部的不同层通常可以并行工作，这意味着每个Decoder层可以同时处理整个序列。比如，在处理Self-Attention时，模型可以同时计算所有位置的注意力权重。 但在生成输出序列时，尽管Decoder内部的不同层可以并行工作，模型仍然需要按顺序逐步生成 ......
[论文速览] R-Drop@ Regularized Dropout for Neural Networks
Pre title: R-Drop: Regularized Dropout for Neural Networks accepted: NeurIPS 2021 paper: https://arxiv.org/abs/2106.14448 code: https://github.com/dro ......
Exercise 2 - Handwriting Recognition
Exercise 2 - Handwriting Recognition 在课程中，您学习了如何使用Fashion MNIST 进行分类，这是一个包含服装项目的数据集。还有一个类似的数据集叫做 MNIST，其中包含手写项目--数字 0 到 9。 编写一个 MNIST 分类器，训练达到 99% 或以上 ......
论文精读之Unet
提问： 1.将输入图像从1扩展为64的过程发生了什么？通道与通道之间的不同是如何实现的？其中的所有东西都是随机的吗？ 2.怎样实现："该 网 络 没 有 任 何 完 全 连 接 的 层 ， 只 使 用 每 个 卷 积 的 有 效 部 分"中的“只 使 用 每 个 卷 积 的 有 效 部 分” 3.怎 ......
【论文阅读笔记】【OCR-文本识别】 LISTER: Neighbor Decoding for Length-Insensitive Scene Text Recognition
LISTER ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 由于长尾效应和错误累积等原因，现有的文本识别模型对于长文本的识别能力较差 如何提高模型对于长度较长的文本的识别能力？ 文章提出了什么样的解决方法？ 提出了 LISTER 模型，引入了 neighbor matrix 的概念， ......
论文：Predicting Optical Water Quality Indicators from Remote Sensing Using Machine Learning Algorithms in Tropical Highlands of Ethiopia
水刊，中科院都没有收录。不属于sci。 吃一堑长一智，以后先看属于哪个期刊的。总是忘记。 期刊：Hydrology 浪费时间，啥也没有，没有创新点，就一点点的对比工作量。 “Predicting Optical Water Quality Indicators from Remote Sensing ......
论文：Predicting the performance of green stormwater infrastructure using multivariate long short-term memory (LSTM) neural network
题目“Predicting the performance of green stormwater infrastructure using multivariate long short-term memory (LSTM) neural network” (Al Mehedi 等, 2023, ......
VoxelNeXt论文解读
前言 VoxelNeXt是一个采用全稀疏卷积的3D目标检测方法，该方法启发自CenterPoint，将输入点云场景体素化后通过3D稀疏卷积提取3D体素特征，提取的特征经高度压缩后采用2D稀疏卷积Head预测。不同于CenterPoint通过热力图的方式预测各个目标的中心点，VoxelNeXt预测各个 ......
论文：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS
题目：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS” (Raffel 和 Ellis, 2016, p. 1) “带有注意力的前馈网络可以解决一些长期记忆问题” (Raffel 和 Elli ......
ElasticSearch之cat transforms API
命令样例如下： curl -X GET "https://localhost:9200/_cat/transforms?v=true&format=json" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=* ......
论文：Multistep ahead prediction of temperature and humidity in solar greenhouse based on FAM-LSTM model
Multistep ahead prediction of temperature and humidity in solar greenhouse based on FAM-LSTM model 基于 FAM-LSTM 模型的日光温室温湿度多步提前预测 题目：“Multistep ahead pr ......
Meta对Transformer架构下手了：新注意力机制更懂推理
前言 作者表示，这种全新注意力机制（Sytem 2 Attention）或许你也需要呢。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指 ......
论文阅读13-SCGC:Simple Contrastive Graph Clustering
论文阅读13-SCGC:Simple Contrastive Graph Clustering 存在的问题 由于对比学习的发展，设计了更加一致和有辨别力的对比损失函数来取代网络训练的聚类引导损失函数。结果，缓解了手动试错问题，并提高了聚类性能。然而，复杂的数据增强和耗时的图卷积操作降低了这些方法的效 ......
【略读论文|时序知识图谱补全】Tucker Decomposition with Frequency Attention for Temporal Knowledge Graph Completion
会议：ACL，时间：2023，学校：北京航空航天大学，多伦多大学 关键词：基于张量分解；频率注意力；正则化 摘要： 之前基于张量分解的TKGC模型存在仅独立考虑一种关系与一个时间戳的组合，忽略了嵌入的全局性质的问题。 本文的方法：一种频率注意力（FA）模型来捕获一个关系与整个时间戳之间的全局时间依赖 ......
nn.transformer
torch上给的案例 transformer_model = nn.Transformer(nhead=16, num_encoder_layers=12) # 创建一个具有16个注意力头和12个编码器层的Transformer模型 src = torch.rand((10, 32, 512))# ......
vqvae 论文阅读
https://arxiv.org/abs/1711.00937 直接3.1 首先我们定义一个嵌入空间. 是K*D维度的. K是离散空间向量的数量. D是每一个向量的维度. 所以e_i 中的i属于 1到K. 模型的输入是x, 也就是图片. 然后模型编码成一个z_e(x). 然后使用最近算法来得到 z ......
[Codeforces] CF1506C Epic Transformation
Epic Transformation - 洛谷 算是今天的题目里边思维难度最高的一道了，但是代码真的简单的要死 题意 你有一个长度为 \(n\) 的序列 \(a\)，你可以对其进行下列操作： 选择 \(i,j\) 满足 \(*a_i\neq a_j*\) 然后删除 \(*a_i,a_j*\) 两个 ......
如何写论文的笔记
#论题陈述 改善稀疏奖励的强化学习有助于移动机器人动态避障 #收集论证 #阅读文献-记录 阅读时做一个word文档，五列的表格。 第一列，文献标题。第二列，期刊名称。第三列，研究对象、问题。第四列，研究方法、理论、视角。第五列，数据来源。 为了对抗网络上不相关，不准确，动机险恶的信息，你们应该牢记一 ......
呼吸灯的实现 用transform和animation实现
实现前端呼吸灯效果，录音效果 效果图如下： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name= ......
【论文解读】在上下文中学习创建任务向量
【论文解读】在上下文中学习创建任务向量 一、简要介绍 大型语言模型（LLMs）中的上下文学习（ICL）已经成为一种强大的新的学习范式。然而，其潜在的机制仍未被很好地了解。特别是，将其映射到“标准”机器学习框架是具有挑战性的，在该框架中，人们使用训练集S在某些假设类中找到最佳拟合函数f (x)。在这里 ......
【论文阅读笔记】【OCR-End2End】 ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy in Transformer
ESTextSpotter ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 场景文本端到端识别任务中，检测和识别两个任务的协同作用十分关键，然而以往的方法通常用一些十分隐式的方式来体现这种协同作用（shared backbone, shared encoder, shared quer ......
打败VIT？Swin Transformer是怎么做到的
https://mp.weixin.qq.com/s/C5ZDYKPdHazR2bR9I9KFjQ 在之前的文章中，我们介绍过VIT（Vision Transformer） ，它将NLP中常用的Transformer架构用于图像分类的预训练任务上，取得了比肩ResNet的效果，成功证明了Transf ......
【略读论文|时序知识图谱补全】Learn from Relational Correlations and Periodic Events for Temporal Knowledge Graph Reasoning
会议：SIGIR，时间：2023，学校：国防科技大学 摘要： 之前模型存在的问题：未能利用快照内结构信息的关系之间的语义相关性与快照间时间交互沿时间轴的周期性时间模式。 本文的工作：提出了一种新的推理模型（RPC）；它通过两个新的通信单元，即关系通信单元(RCU)和周期通信单元(PCU)，充分挖掘关 ......
如何使用markdown写毕业论文
step 1: pandoc: https://github.com/jgm/pandoc/releases step 2: pandoc-crossref: https://github.com/lierdakil/pandoc-crossref/releases step 3: pip3 ins ......
CF1506C Epic Transformation
CF1506C Epic Transformation Epic Transformation - 洛谷 算是今天的题目里边思维难度最高的一道了，但是代码真的简单的要死 题意 你有一个长度为 \(n\) 的序列 \(a\)，你可以对其进行下列操作： 选择 \(i,j\) 满足 \(*a_i\neq ......
记录--居中为什么要使用 transform？
这里给大家分享我在网上总结出来的一些知识，希望对大家有所帮助 引言 居中是我们在前端布局中经常会遇到的问题，其中包括水平居中和垂直居中。居中的方法很多，比如说水平居中可以使用text-align: center或者margin: 0 auto等等来实现，垂直居中则需要使用一些其它的特殊的技巧。比如说 ......
论文阅读笔记：Revisiting Prototypical Network for Cross Domain Few-Shot Learning
标题：重新审视用于跨领域少样本学习的原型网络 研究背景： 问题背景：原型网络是一种流行的小样本学习方法， 其网络简单而直观，对于小样本学习问题有着较好的表现，尤其是在图像分类等领域。 存在问题：然而，当推广到跨领域的少样本分类任务时，其性能出现了大幅度下降，这严重限制了原型网络的实用性。 研究动机： ......
【略读论文|时序知识图谱补全】Hierarchical Self-Atention Embedding for Temporal Knowledge Graph Completion
会议：WWW，时间：2023，学校：东北大学计算机与通信工程学院 摘要： 目前TKGC模型存在的问题：只考虑实体或关系的结构信息，而忽略了整个TKG的结构信息。此外，它们中的大多数通常将时间戳视为一般特征，不能利用时间戳的潜在时间序列信息。 本文的方法：一种基于自注意机制和历时嵌入技术的分层自注意嵌 ......
无依赖安装sentence-transformers
安装 pip install --no-cache-dir torch==1.8.0+cpu -f https://download.pytorch.org/whl/torch_stable.html pip install transformers tqdm numpy scikit-learn ......