transformers handwriting论文
【略读论文|时序知识图谱补全】DREAM: Adaptive Reinforcement Learning based on Attention Mechanism for Temporal Knowledge Graph Reasoning
会议：SIGIR，时间：2023，学校：苏州大学计算机科学与技术学院，澳大利亚昆士兰布里斯班大学信息技术与电气工程学院，Griffith大学金海岸信息通信技术学院 摘要： 原因：现在的时序知识图谱推理方法无法生成显式推理路径，缺乏可解释性。 方法迁移：由于强化学习 (RL) 用于传统知识图谱上的多跳 ......
【略读论文|时序知识图谱补全】Adaptive Path-Memory Network for Temporal Knowledge Graph Reasoning
会议：IJCAI，时间：2023，学校：1 中国科学院计算机网络信息中心，北京 2中国科学院大学，北京 3 澳门大学智慧城市物联网国家重点实验室，澳门 4 香港科技大学(广州)，广州 5 佛罗里达大学计算机科学系，奥兰多 摘要： 提出一种新的具有TKG关联特征的体系结构建模方法，即自适应路径-记忆网 ......
【略读论文|时序知识图谱补全】Temporal Knowledge Graph Reasoning with Historical Contrastive Learning
会议：AAAI，时间：2023，学校：上海交通大学 摘要： 大多数时序知识图谱的推理方法高度依赖于事件的递归或周期性，这给推断与缺乏历史交互的实体相关的未来事件带来了挑战。本文提出一种新的基于历史对比学习训练框架的对比事件网络（CENET）的新事件预测模型。 1.CENET 学习历史和非历史依赖来区 ......
【略读论文|时序知识图谱补全】Logic and Commonsense-Guided Temporal Knowledge Graph Completion
会议：AAAI，时间：2023，学校：北京航空航天大学 文中谓词可以视为关系。 以往的TKG补全(TKGC)方法不能同时表示事件的时效性和因果关系。为了应对这些问题，作者提出了一个逻辑和尝试引导嵌入模型（LCGE ），从常识的角度共同学习涉及事件的及时性和因果关系的时间敏感表示，以及事件的时间无关表 ......
【论文阅读】OneNet Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling
原始题目：OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling 中文翻译：OneNet：通过在线集成增强概念漂移下的时间序列预测模型 发表时间：2023年09月22日 平台： ......
【论文阅读】Improving language understanding by generative pre-training
原始题目：Improving language understanding by generative pre-training 中文翻译：通过生成预训练提高语言理解能力 发表时间：2018年 平台：Preprint 文章链接：https://www.mikecaptain.com/resource ......
【论文阅读】TimeGPT-1
原始题目：TimeGPT-1 中文翻译：TimeGPT-1 发表时间：2023年10月05日 平台：arXiv 文章链接：http://arxiv.org/abs/2310.03589 开源代码：无 摘要 在本文中，我们介绍了TimeGPT，这是第一个用于时间序列的基础模型，能够为训练过程中看不到的 ......
Optimized Content Caching and User Association for Edge Computing in Densely Deployed Heterogeneous Networks论文阅读
目录Optimized Content Caching and User Association for Edge Computing in Densely Deployed Heterogeneous Networks1、问题背景贡献点：2、系统建模及问题公式化系统建模问题公式化联合内容缓存和用户 ......
自然语言处理预训练—— 来自Transformers的双向编码器表示（BERT）
我们已经介绍了几种用于自然语言理解的词嵌入模型。在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。让我们先来说明这个性质。 从上下文无关到上下文敏感 ELMo（Embeddings from Language Models） ......
记录第一篇IEEE论文写作问题
标题在标题中，所有名词、代词、形容词、动词、副词和从属连词均大写。除单位缩写和首字母缩略词外，其他小写的缩写均大写。冠词（a、an、the）、并列连词（and、but、for、or、nor）和大多数短介词都是小写的，除非它们是第一个或最后一个词。三个以上字母的介词（Before、From、Throu ......
关于TRANSFORM_TEX的一些问题
这个函数是用来控制shader面板中的tilling和offset的，本质为 uv * _MainTex_ST.xy + _MainTex_ST.zw; 但是使用TRANSFORM_TEX时需要注意的是，函数内部似乎没有封装完整，假如有类似于 TRANSFORM_TEX(uv + 20, _Main ......
机器学习——Transformer
10.6.2节中比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型 (Cheng ......
外文论文同行评审平台——PubPeer——论文打假平台
参考： https://baijiahao.baidu.com/s?id=1757051752090030001&wfr=spider&for=pc 偶然间看到了一个外文论文的同行评审平台——PubPeer，这个平台与其说是同行评审还不如说是一个论文打假平台，一般能够等上这个平台的论文不敢说百分百是 ......
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎
前言 近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打 ......
论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）
论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
【论文阅读笔记】【Image Retrieval】 Global Features are All You Need for Image Retrieval and Reranking
SuperGlobal ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 图片检索方法通常由粗粒度图片检索和精确的结果重排列两个模块组成。人们通常认为图片的 local feature 在结果重排列中是不可或缺的，但对大量的 local feature 的计算需要较高的计算资源和时间 能 ......
25 写小论文的时候如何将eps文件缩小一些
超简单的小论文eps文件压缩 写英文论文一般图片格式会要求eps格式，我用PNG格式的图片粘贴到Adobe Illustrator后另存为的eps文件非常大，于是上网看了看怎么能压缩一下，自己尝试了一种简单方法，具体方法如下： （1）将eps文件用AdobeDC2021打开，然后将它另存为pdf格式 ......
不务正业的再次胡想——chatgpt在“智能辅助编程”外的另一个可能场景"智能论文写作辅助”
在chatgpt4出来后震惊了很多人，但是很多人也觉得好像用处不大；可以说chatgpt4确实更加智能了，在语言对话上更加的智能，很多情况下已经很难分辨出这货是个机器人，但是现在这东西好像确实也没有太多的实际应用，或许更多的人用这个是当做“智能搜索引擎”来用的，而我个人却更加喜欢将chatgpt4当 ......
Cost Aggregation with Transformers for Sparse Correspondence-读书笔记
Cost Aggregation with Transformers for Sparse Correspondence:2022 背景: 该论文结合了SuperGlue和CATs，将里面所有手工制作的部分都代替了。将CATs引入该模型，用Transformer取代手工制作的成本聚合方法，用于具有自 ......
Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut ......
TRL(Transformer Reinforcement Learning) PPO Trainer 学习笔记
(1) PPO Trainer TRL支持PPO Trainer通过RL训练语言模型上的任何奖励信号。奖励信号可以来自手工制作的规则、指标或使用奖励模型的偏好数据。要获得完整的示例，请查看examples/notebooks/gpt2-sentiment.ipynb。Trainer很大程度上受到了原 ......
【论文阅读笔记】【OCR-文本识别】 CLIPTER: Looking at the Bigger Picture in Scene Text Recognition
CLIPTER ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 现有的文本识别方法只关注于局部截取的文本区域，识别模型并没有利用全图的上下文信息，导致其可能对有挑战性的文本的识别效果较差 能否以某种方式使识别器利用上global feature的信息？ 文章提出了什么样的解决方法？ 提 ......
[论文阅读] Latent Consistency Models@ Synthesizing High-Resolution Images with Few-Step Inference
1. Pre title: Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference accepted: arXiv 2023 (ICLR 2024 Submission) paper ......
大语言模型里的Transformer还可以这么用？
前言 自 LLM 诞生以来，我们见到了很多把 LLM 接到 Vision Backbone 后面的算法，那么有两个自然的问题：（1）LLM 的 Transformer 是否可以直接处理视觉 Token？（2）LLM 的 Transformer 是否可以提升处理视觉 Token 的 Performan ......
《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》阅读笔记
论文标题 《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》 Swin 这个词貌似来自后面的 Shifted Windows Shifted Windows：移动窗口 Hierarchical：分层 作者 ......
SuperGlue: Learning Feature Matching with Graph Neural Networks论文笔记
SuperGlue: Learning Feature Matching with Graph Neural Networks 源码: github.com/magicleap/SuperGluePretrainedNetwork 背景： 主要解决图像中点之间的对应关系。 主要方法： 上图为该方法的 ......
DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑
前言 难道 Transformer 注定无法解决「训练数据」之外的新问题？ 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指 ......
【论文解读】针对生成任务的多模态图学习
【论文解读】针对生成任务的多模态图学习 一、简要介绍 多模态学习结合了多种数据模式，拓宽了模型可以利用的数据的类型和复杂性：例如，从纯文本到图像映射对。大多数多模态学习算法专注于建模来自两种模式的简单的一对一数据对，如图像-标题对，或音频文本对。然而，在大多数现实世界中，不同模式的实体以更复杂和多方 ......
【论文阅读笔记】【OCR-文本识别】 Scene Text Recognition with Permuted Autoregressive Sequence Models
PARSeq ECCV 2022 读论文思考的问题 论文试图解决什么问题？ 一些文本识别模型会对 semantic 信息建模，从而辅助某些困难情况下的文本识别 传统的 auto-regressive 方式限制了语义信息的传输方向；双向的 auto-regressive 聚合增加了不必要的计算量和复杂 ......
恭喜我同事的论文被IEEE HPCC收录！
近日，由天翼云科技有限公司云网产品事业部天玑实验室撰写的《关于公有云区分负载QoS感知的内存资源动态超分管理优化》（Thoth：Provisioning Overcommitted Memory Resource with Differentiated QoS in Public Clouds）论文... ......