transformers handwriting论文
重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了
前言 反转Transformer，变成iTransformer。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础 ......
论文查找
Ctrl + Shift + N 打开无痕窗口，然后访问 Connected Papers 网站 https://www.connectedpapers.com/ ，可无限卡 bug。 ......
Variational Autoencoders for Collaborative Filtering论文阅读笔记
摘要 将VAE扩展到具有隐式反馈的协同过滤，这样能够超越线性因子模型。提出了一个具有多项式条件似然的神经生成模型。目前推荐系统用的比较多的是rank指标，这里本文也说明了为什么多项似然非常适合隐式反馈数据建模。相对于高斯函数和逻辑函数更加接近rank损失 马上提出了一个比较有意思的观点，虽然推荐被认 ......
[论文阅读] EMO@ Earth Mover Distance Optimization for Auto-Regressive Language Modeling
Pre title: EMO: Earth Mover Distance Optimization for Auto-Regressive Language Modeling accepted: arXiv2023 paper: https://arxiv.org/abs/2310.04691 co ......
2023CVPR_Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring
一. Motivation 1. Transformer在解决全局表现很好，但是复杂度很高，主要体现在QK的乘积: (We note that the scaled dot-product attention computation is actually to estimate the corre ......
【论文阅读笔记】【OCR-文本检测】 Few Could Be Better Than All: Feature Sampling and Grouping for Scene Text Detection
CVPR 2022 读论文思考的问题 论文试图解决什么问题？ 一些基于 DETR 的方法在 ICDAR15, MLT17 等文字尺度变化范围较大的数据集上文本检测的效果不佳 DETR 运用的高层特征图难以捕捉小文字的特征，且会引入很多无关的背景噪声，增加了检测的困难程度 即使使用 DETR 的改进模 ......
2023-8-24 Pyramid Vision Transformer 2023人工智能大会青年科学家论坛
Pyramid Vision Transformer | 2023人工智能大会青年科学家论坛 王文海 香港中文大学 首次将多层次金字塔结构引入视觉变化网络 研究动机 | 方法 | 感受野，模型权重->表征能力 | 结构输出->适用面 | | | | | | CNN | 局部固定 | 金字塔多尺度 | ......
《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》阅读笔记
论文标题 《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》 谷歌论文起名越来越写意了，“一幅图像值16X16个单词” 是什么玩意儿。 AT SCALE：说明适合大规模的图片识别，也许小规模的不好使 ......
聊聊Transform模型
摘自《BERT基础教程：Transformer大模型实战 》 概述 循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。从那以后，Transforme ......
AutoRec Autoencoders Meet Collaborative Filtering 论文阅读笔记
这个是第一篇将自编码器应用到推荐系统中的论文，也是将深度学习应用到推荐系统中的论文。比较老，主要学习它的思想，对输入的编码与重建。这篇文章提出了基于AutoEncoder的协同过滤方法来解决评分预测问题 我们的目标就是设计一个基于项目或者用户的自动编码器，它可以将每个部分观察到的\(r^u(r^i) ......
[论文阅读] Mean-Shifted Contrastive Loss for Anomaly Detection
Mean-Shifted Contrastive Loss for Anomaly Detection Abstract 这篇文章探讨了异常检测领域的一个关键问题，即如何通过使用预训练特征来提高异常检测性能。研究者首先介绍了异常检测的背景和现有方法，指出了使用自监督学习和外部数据集预训练特征的潜力。 ......
[论文阅读] Painterly Image Harmonization using Diffusion Model
Pre title: Painterly Image Harmonization using Diffusion Model accepted: AAAI2023 paper: https://arxiv.org/abs/2212.08846 code: https://github.com/bcm ......
CV-论文修改相关资料
SSIM https://blog.csdn.net/qq_27825451/article/details/104016874 https://zhuanlan.zhihu.com/p/410562138 https://zhuanlan.zhihu.com/p/399215180 https:/ ......
10月发布的5篇人工智能论文推荐
JudgeLM: Fine-tuned Large Language Models are Scalable Judges 由于现有基准和指标的限制，在开放式环境中评估大型语言模型(llm)是一项具有挑战性的任务。为了克服这一挑战，本文引入了微调llm作为可扩展“法官”的概念，称为JudgeLM，这 ......
论文阅读：InstructIE： A Chinese Instruction-based Information Extraction Dataset
主要提出了一种数据集Instruction-based IE，要求模型根据指令来提取信息。 1. Instruction 为IE任务创建特定的数据集式消耗事时间与资源的。 面对这些挑战的常见方法： Seq2seq提出 TANL将其视为自然语言增强的翻译任务。 UIE提出一种text-to-struc ......
【纯 Transformer 也可以取代 CNN 用于CV】Vision Transformer (ViT) 论文精读
原始题目 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 中文名称 一张图像等价于 16x16 Words: Transformers 来做大规模的图像识别 发表时间 2020年10月22日 平台 ......
Swin-transformer论文阅读笔记（Swin Transformer: Hierarchical Vision Transformer using Shifted Windows）
论文标题：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文作者：Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephe ......
比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了
前言 本文探索了 Monarch Mixer (M2) ，这是一种在序列长度和模型维度上都是次二次的新架构，并且在现代加速器上具有很高的硬件效率。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 ......
【CVPR2023】Learning A Sparse Transformer Network for Effective Image Deraining
论文：https://readpaper.com/paper/4736105248993591297 代码：https://github.com/cschenxiang/DRSformer Transformer 模型通常使用标准的 QKV 三件套进行计算，但是部分来自 K 的 token 与来自 ......
研究生怎么写论文
研究生从事学术研究一般要经历确定研究课题、查阅文献资料、设计研究方案、获取数据与事实、形成学术成果等5个基本环节 即确定一个既具价值、意义又适合于自己的研究主题。 其一，将平时积累的研究资料按照确定课题的需要进行整理、组合与变换，形成一种新的知识结构体系，以适应课题研究的需要其二，对已有的研究资料作 ......
【CNN 取代 Transformer 加速 SAM】Fast SAM 笔记
将 SAM 任务转换为经过广泛研究的实例分割任务，并仅使用 SAM 作者发布的SA-1B数据集的1/50进行训练现有的实例分割方法 问题 1： 本文要解决什么问题？ SAM 的计算成本高，主要来自于 处理高分辨率输入的 Transformer 架构。本文想要加速 SAM 模型的推理速度。 问题 2： ......
【找到 Anchor-based and Anchor-free 性能差距的本质】Adaptive Training Sample Selection (ATSS) 论文精读
原始题目：Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 中文翻译：通过 自适应训练样本选择 缩小 Anchor-based and Anch ......
论文阅读笔记——LAVA: Large-scale Automated Vulnerability Addition
LAVA: Large-scale Automated Vulnerability Addition Brendan Dolan-Gavitt∗, Patrick Hulin†, Engin Kirda‡, Tim Leek†, Andrea Mambretti‡, Wil Robertson‡, ......
论文复现01. RestainNet
论文名称：RestainNet: a self-supervised digital re-stainer for stain normalization arxiv: https://arxiv.org/pdf/2202.13804.pdf 论文的核心内容：自监督网络，把 ”灰度图“ 重新上色成H ......
matplotlib论文图片配色
还在为配图的颜色而烦恼嘛，还在为matplotlib的经典颜色而困惑嘛，看完下面的文章，教你如何选择图片颜色 上图左边是matplotlib默认的颜色系统，而右边就是使用matplotlib自带的颜色系统实现的。如何实现，请继续往下浏览 1 官方色组 1.1 推荐色组 由于官方的色组比较多，我选了几 ......
华为最高学术成果发表 —— 《Nature》正刊发表论文《Accurate medium-range global weather forecasting with 3D neural networks》
论文《Accurate medium-range global weather forecasting with 3D neural networks》的《Nature》地址： https://www.nature.com/articles/s41586-023-06185-3.pdf 论文的代码地 ......
吴恩达：如何有效读论文？
如何找论文 收集关于该主题的各种资源，可以是论文，Medium文章，博客文章，视频，GitHub库各种形式。 接下来，就可以深入理解一下这些资源了。在这一步，最关键的是需要找个方法记录自己对各个资源的理解程度。 建议列表里的每篇论文都先读个10％到20％；这样就能保证你能大致读读介绍，判断一下相关性 ......
Transformer 相关资料列表
Transformer 相关资料列表 Encoder-Decoder框架 1 Transformer 模型 1 连续词袋模型（CBOW） Word2vec Transformer 模型中的positional encoding(位置编码)计算理解 Transformer 模型中的positional ......
《动手学深度学习 Pytorch版》 10.7 Transformer
自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer 模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管 Transformer 最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。 10.7.1 模 ......
【论文阅读笔记】【Referring & Grounding】 Ferret: Refer and Ground Anything Anywhere at Any Granularity
读论文思考的问题 论文试图解决什么问题？ referring 和 grounding 是图片空间信息理解的两大方面，而以往的模型通常只关注于其中的一个方面 能否根据人类理解图片的能力，将 referring 和 grounding 的能力统一到一个模型中？ 如何联合这两个任务？它们能相互促进吗？ 如 ......