transformers handwriting论文
论文精读：基于具有时空感知的稀疏多图卷积混合网络的大数据驱动船舶轨迹预测（Big data driven trajectory prediction based on sparse multi-graph convolutional hybrid network withspatio-temporal awareness）
论文精读：基于具有时空感知的稀疏多图卷积混合网络的大数据驱动船舶轨迹预测 《Big data driven vessel trajectory prediction based on sparse multi-graph convolutional hybrid network with spati ......
[论文阅读] A unified model for multi-class anomaly detection
A unified model for multi-class anomaly detection 1 Introduction 现有方法[6, 11, 25, 27, 48, 49, 52]建议为不同类别的对象训练单独的模型，就像图1c中的情况一样。然而，这种一类一模型的方案可能会消耗大量内存，尤 ......
基于Transformer的遥感影像目标检测研究
基于Transformer的遥感影像目标检测研究 1. 研究课题三要素 1.1 研究对象 遥感影像。 1.2 研究问题 目标检测任务指的是为每个感兴趣的对象预测一组边界框和类别标签。与自然场景下的通用目标检测不同，遥感影像存在一些自身的特点，例如遥感图像幅面大、成像视角单一、可提取的特征较少；目标数 ......
Retentive Networks Meet Vision Transformers， 视觉RetNet
alias: Fan2023 tags: RetNet rating: ⭐ share: false ptype: article RMT: Retentive Networks Meet Vision Transformers 初读印象 comment:: (RMT)Retentive Netwo ......
生物信息学选院校-上课ppt-论文阅读
生物信息学选院校-上课ppt-论文阅读 已有 164 次阅读 2023-12-9 08:06 |个人分类:生物信息学|系统分类:论文交流 本地文件组织1统一命令规则○时间-作者-题名：梳理出同一作者或实验室历年的科研进展 ○时间-关键词-题名：梳理出领域内不同方法的演变历程 2按类别归入文件夹3用电 ......
Adaptive Graph Contrastive Learning for Recommendation论文阅读笔记
Abstract 在实际的场景中，用户的行为数据往往是有噪声的，并且表现出偏态分布。所以需要利用自监督学习来改善用户表示。我们提出了一种新的自适应图对比学习(AdaGCL)框架，该框架使用两个自适应对比视图生成器来进行数据增强，以更好地增强CF范式。具体的说，我们使用了两个可训练的视图生成器，一个图 ......
研究生如何开始读论文--本地文件组织
本地文件组织1统一命令规则○时间-作者-题名：梳理出同一作者或实验室历年的科研进展 ○时间-关键词-题名：梳理出领域内不同方法的演变历程 2按类别归入文件夹3用电脑自带的搜索工具，搜索关键词 ......
Unsourced Multiple Access With Random User Activity论文复现
仿真内容 文件中包含了一个关于无源多用户接入（Unsourced Multiple Access，UMA）系统的 MATLAB 数值例程，用于评估随机用户活动情况下的随机编码界限。 这个工作主要在论文 [1] 中介绍，该论文题为 "Unsourced Multiple Access With Ran ......
怎么免费下载毕业论文模板
前言 因为课程需要，需要写课程设计报告，或者是毕业设计，这时候下载一个word模板会方便我们很多，如何下载一个高质量的模板成了一个问题。 因为网络上充斥着大量的垃圾资源，又或者说是找到好的模板了，下载十分不方便，不是要登录就是要付费才能下载。 这里教大家一个好的方法，如何免费地下载一个高质量的模板。 ......
LLM 学习笔记-Deepspeed-MoE 论文
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限： ......
深入解析LLaMA如何改进Transformer的底层结构
本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
svg transform总结
1. svg的transform和dom的不同，旋转中心不是默认自身，而是画布左上角 2. svg要以自身为中心旋转，可以使用rotate(angle [x y]), 比css的rotate(angel)多了x,y两个参数，x,y分别设置为svg图形的中心点坐标即可 3. 线性变换 translat ......
论文阅读：2023_Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
论文地址：语义听觉:用双耳可听器编程声学场景 论文代码：https://semantichearing.cs.washington.edu/ 引用格式：Veluri B, Itani M, Chan J, et al. Semantic Hearing: Programming Acoustic S ......
大语言模型底层架构丨带你认识Transformer
本文分享自华为云社区《大语言模型底层架构你了解多少？大语言模型底层架构之一Transfomer的介绍和python代码实现》，作者： 码上开花_Lancer 。 语言模型目标是建模自然语言的概率分布，在自然语言处理研究中具有重要的作用，是自然语言处理基础任务之一。大量的研究从n 元语言模型（n-gr ......
Erasing, Transforming, and Noising Defense Network for Occluded Person Re-Identification
三个分支：擦除、转换、噪声 用来生成对抗性表征，模拟遮挡问题 对应信息丢失、位置错位和噪声信息 对抗性防御：思路是GAN网络，以对抗性的方式优化生成器和判别器 ......
BMR论文阅读笔记（Bootstrapping Multi-view Representations for Fake News Detection）
以往的多媒体假新闻检测研究包括一系列复杂的特征提取和融合网络，从新闻中收集有用的信息。然而，跨模态一致性如何影响新闻的保真度以及不同模态的特征如何影响决策仍然是一个悬而未决的问题。本文提出了一种基于自举多视图表示(BMR)的假新闻检测方案。对于一篇多模态新闻，我们分别从文本、图像模式和图像语义的角度... ......
[论文速览] Randomized Quantization@ A Generic Augmentation for Data Agnostic Self-supervised Learning
Pre title: Randomized Quantization: A Generic Augmentation for Data Agnostic Self-supervised Learning accepted: ICCV 2023 paper: https://arxiv.org/abs ......
2023ICCV_Feature Modulation Transformer: Cross-Refinement of Global Representation via High-Frequency Prior for Image Super-Resolution
一. Motivation 1. transformer的工作主要集中在设计transformer块以获得全局信息，而忽略了合并高频先验的潜力 2. 关于频率对性能的影响的详细分析有限（Additionally, there is limited detailed analysis of the i ......
简化版Transformer ：Simplifying Transformer Block论文详解
前言 本文探讨了来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。 本文转载自Deep ......
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文 https://avoid.overfit.cn/post/ca7d20ae68dd4f54a69d7d2d5df51e8d ......
Generative-Contrastive Graph Learning for Recommendation论文阅读笔记
Abstract 首先介绍了一下GCL的一些缺点，GCL是通过数据增强来构造对比视图，然后通过最大化对比视图之间的互信息来提供自监督信号。但是目前的数据增强技术都有着一定的缺点 结构增强随机退出节点或边，容易破坏用户项目的内在本质 特征增强对每个节点施加相同的尺度噪声增强，忽略的节点的独特特征 所以 ......
一段博士论文致谢
摘自：https://www.zhihu.com/question/58018004/answer/396042486 读博士的过程像西天取经一样，欲取得真经，需历尽万苦千辛。故事中的唐僧是个幸福的博士，有白龙马骑，有悟空的保护，有八戒的冷幽默，有悟净的分担，有漂亮女妖的惦记和多情。更有天朝的庇佑和 ......
CSS进阶3-transform 动画-渐变(线性渐变、镜像渐变)-关键帧
1. 动画 介绍：改变盒子在平面内的形态（平移、缩放、旋转、倾斜） 属性： 平移：transform：translate(值1 ，值2);(默认为X轴，translateY--下移) — —平移依然在原来文档流。 移动：transform：translate(值1，值2)；可右斜移动 代码： /* ......
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode ......
Google Colab 现已支持直接使用 transformers 库
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。 ......
ETL (Extra-Transform-Load)
背景介绍 随着企业的发展，目前的业务线越来越复杂，各个业务系统独立运营。例如：CRM系统只会生产CRM的 数据；Billing只会生产Billing的数据。各业务系统之间只关心自己的数据，导致各业务系统之间数据相互独立，互不相通。一旦业务系统之间进行数据交互，只能通过传统的webservice接口之 ......
Transformer
Attention 什么是注意力机制? 对于人类来说，注意力机制是在注意力有限的情况下，只关注接受信息的一部分，而忽略其他部分。 对于Transformer来说，以NLP为例，注意力机制就是对于当前token来说，为其所在序列中 对任务而言更重要的元素赋予更高权重(注意力)。 感知机可以认为是对不同 ......
简化版Transformer来了，网友：年度论文
前言 从大模型的根源开始优化。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! ......
ENTROFORMER: A TRANSFORMER-BASED ENTROPY MODEL基于transformer的熵模型
目录简介模型核心代码性能实验 简介 \(\quad\)由于cnn在捕获全局依赖关系方面效率低，因此该文章提出了基于tansformer的熵模型——Entoformer；并针对图像压缩进行了top-k self-attention和a diamond relative position encodin ......