transformers end-to-end end detection
大模型增量训练--基于transformer制作一个大模型聊天机器人
ChatGPTBook/UniLMProj 代码地址 Folders and files Name Last commit message Last commit date parent directory .. data (Directory) update code 3 months ago i ......
[NIPS 2021]Do Transformers Really Perform Bad for Graph Representation
[NIPS 2021]Do Transformers Really Perform Bad for Graph Representation 微软提出的graph transformer，名叫Graphormer Transformer 通常，transformer layer有一个self-att ......
[论文阅读] Anomaly Detection under Distribution Shift
Anomaly Detection under Distribution Shift 1 Introduction 如图1中所示的示例数据所示， in-distribution（ID）测试数据中的正常样本与正常训练数据非常相似，而ID中的异常样本与正常数据差异很大；然而，由于分布转移，OOD测试数据 ......
[论文阅读] Anomaly detection via reverse distillation from one-class embedding
Anomaly detection via reverse distillation from one-class embedding Introduction 在知识蒸馏（KD）中，知识是在教师-学生（T-S）对中传递的。在无监督异常检测的背景下，由于学生在训练过程中只接触到正常样本，所以当查询是 ......
EfficientFormer:高效低延迟的Vision Transformers
我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。 Transformers能否在获得高性能的同时，跑得和MobileNet一样快?为 ......
ICCV 2023｜利用双重聚合的Transformer进行图像超分辨率
前言 本文提出了 DAT（Dual Aggregation Transformer），是一种用于图像超分辨率 Transformer 模型。DAT 以块间和块内双重方式，聚合空间和通道特征，实现强大的建模能力。 本文转载自将门创投 作者：陈铮 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术 ......
Transformer架构解析及其pytorch实现
这是笔者学习Transformer原文后手动实践的学习笔记。本文结合原文以及部分引文分析了经典transformer的所有结构，笔者使用pytorch搭建了完整的transformer（不使用pytorch封装的transformer），并用自然语言翻译数据集进行验证。关键词：Transformer... ......
Black-Box Attack-Based Security Evaluation Framework forCredit Card Fraud Detection Models
Black-Box Attack-Based Security Evaluation Framework forCredit Card Fraud Detection Models 动机 AI模型容易受到对抗性攻击（对样本添加精心设计的扰动生成对抗性示例） 现有的对抗性攻击可以分为白盒攻击和黑盒攻击 ......
C# 指定物理目录下载文件，Response.End导致“正在中止线程”异常的问题
https://blog.51cto.com/u_15116285/5964873 https://blog.csdn.net/phphot/article/details/4211921 https://www.codenong.com/20988445/ 现象：通过浏览器下载pdf文件，下载可以 ......
如何将 Transformer 应用于时间序列模型
在机器学习的广阔前景中，transformers 就像建筑奇迹一样高高耸立，以其复杂的设计和捕获复杂关系的能力重塑了我们处理和理解大量数据的方式。 自 2017 年创建第一个 Transformer 以来，Transformer 类型呈爆炸式增长，其中包括 ChatGPT 和 DALL-E 等强大的 ......
Linux环境下sentence-transformers 之 all-MiniLM-L6-v2模型安装与使用
好记性不如烂笔头系列 一、背景： 1、之前使用chatgpt接口生成embeddings的向量维度为1536维，数据库中占用较大，所以找寻低维度的向量生成方法，减少数据占用 2、在huggingface上发现all-mpnet-base-v2及all-MiniLM-L6-v2两个模型不错，前者会生成 ......
Transformer的上下文学习能力是哪来的？
前言 有理论基础，我们就可以进行深度优化了。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 ......
Javaweb出现END的解决方法之一
初学者在新学javaweb是入门：servlet的简单部署，创建与运行时，前面所有的步骤都正确。但是运行确实这个样子的： 提供一个可能得解决方案： 1.出现这个界面后直接在原来的网址后面加上url-pattern里面的URL地址就ok啦！！！ ......
Transformer详解
前言 在17年，自然语言处理领域还在被RNN统治，当时的seq2seq任务还是用带encoder-decoder结构的RNN。然而RNN天然具有一个缺点：计算效率低。 随后的transformer也是encoder-decoder结构，但是其中信息关联采用了attention机制，而不是RNN的循环 ......
GPT——生成式预训练Transformer
GPT最近很火呀，那什么是GPT呢？ 机器学习领域有个很好的模型叫 Transformer注意力模型，然后在此基础上发展出了包括GPT、BERT、GPT2.0以及GPT3.0等等。其发展历程大概是： （1）2018年，OpenAI基于Transformer提出了GPT； （2）2018年，Googl ......
【NIPS2021】Focal Self-attention for Local-Global Interactions in Vision Transformers
来自微软（*^____^*） 论文地址：[2107.00641] Focal Self-attention for Local-Global Interactions in Vision Transformers (arxiv.org) 代码地址：microsoft/Focal-Transforme ......
围绕 transformers 构建现代 NLP 开发环境
本文将从“样本处理”，“模型开发”，“实验管理”，“工具链及可视化“ 几个角度介绍基于 tranformers 库做的重新设计，并简单聊聊个人对“软件2.0”的看法。 ......
如何成功将 API 客户的 transformer 模型推理速度加快 100 倍
🤗 Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型，支持 250 多种语言，任君取用。无论你使用哪种框架，都能用得上它。 虽然在 🤗 Transformers 中试验模型很容易，但以最高性能 ......
RWKV解读：在Transformer的时代的新RNN
转载地址：https://zhuanlan.zhihu.com/p/656323242 作者：徐传飞 在Transformer时代，介绍一个非Transformer架构的新网络——RWKV，RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训 ......
一个简单的 Python 实现希尔伯特-黄变换（Hilbert-Huang Transform，简称HHT）的例子
import numpy as np from scipy.signal import argrelextrema def emd(data): """ 经验模式分解（Empirical Mode Decomposition，EMD） """ # 找到极值点 max_points, min_poin ......
为什么基于transformer的序列分类不用decoder模块？
Transformer原本是为机器翻译设计的编码-解码(Encoder-Decoder)结构。在序列分类任务中,主要利用的是Transformer的Encoder模块来获取输入序列的特征表示,而不需要Decoder模块,主要有以下原因: 解码模块主要用来生成目标序列,而分类任务只需要判别整个源序列的 ......
【学习笔记】Transformer
在看Transformer之前，建议先学习一下Self-attention。 同样，这边笔记是参考李宏毅老师的课程和ppt，感兴趣的可以去看原视频~ Sequence-to-Sequence 没错！Transformer是一个sequence-to-sequence (Seq2Seq) 的模型，也就 ......
RetNet：万众期待的 Transformers 杀手
动动发财的小手，点个赞吧！ Transformer 已成为大语言模型上的架构，因为它有效地克服了循环神经网络 (RNN) 的顺序训练问题。然而，Transformer也并不完美，因为它们仅解决了所谓“impossible triangle”的两条臂。微软的 RetNet 声称位于这个“impossi ......
Transformer-empowered Multi-scale Contextual Matching and Aggregation for
Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution（阅读文献）10.12 基于变压器的磁共振多对比度超分辨率多尺度背景匹配与聚合 摘 ......
Swin Transformer
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows使用移动窗口的分层视觉转换器阅读笔记 摘要：提出Swin Transformer,作为计算机视觉的通用主干网络。将Transformer应用到是视觉领域的挑战 ......
大模型与KG（二）——Transformer/Bert/GPT用于图学习
目录句法图学习《Graph Transformer for Graph-to-Sequence Learning》《Heterogeneous Graph Transformer for Graph-to-Sequence Learning》同质图学习《Do Transformers Really ......
TensorFlow PyTorch Transformer --GPT
你是机器学习专家，请为我解答如下疑问： tensorflow，pytorch分别是什么？他们跟numpy的区别是什么？什么是深度学习，深度学习框架中的框架指的是什么？什么是机器学习，什么是transformer?transformer和tensorflow,pytorch的关系是什么？ ChatGP ......
[论文阅读] Anomaly Detection with Score Distribution Discrimination
Anomaly Detection with Score Distribution Discrimination 1 Introduction 如图1所示。Fig 1a~1c。这些方法基于学习到的输入数据的特征转换（如重构误差或embedding距离），生成异常分数。然而，在表示空间中的优化会导致数 ......
《White-Box Transformers via Sparse Rate Reduction》论文学习
一、Introduction 近年来，深度学习在处理大量高维多模态数据方面取得了巨大的实证成功。其中很大一部分成功归功于对数据分布的有效学习，然后将分布转化为简洁的结构化和紧凑的表示形式，这有助于许多下游任务（例如视觉、分类、识别和分割以及生成。为此，已提出和实践了许多模型和方法，每种方法都有其优点 ......
谁将取代 transformer；PPT 开发者去世；ChatGPT 访问量连续三个月下降丨 RTE开发者日报 Vol.46
开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。 我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家 ......