cross-attention classification multi-scale transformer
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode ......
Google Colab 现已支持直接使用 transformers 库
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。 ......
ETL (Extra-Transform-Load)
背景介绍 随着企业的发展，目前的业务线越来越复杂，各个业务系统独立运营。例如：CRM系统只会生产CRM的 数据；Billing只会生产Billing的数据。各业务系统之间只关心自己的数据，导致各业务系统之间数据相互独立，互不相通。一旦业务系统之间进行数据交互，只能通过传统的webservice接口之 ......
Transformer
Attention 什么是注意力机制? 对于人类来说，注意力机制是在注意力有限的情况下，只关注接受信息的一部分，而忽略其他部分。 对于Transformer来说，以NLP为例，注意力机制就是对于当前token来说，为其所在序列中 对任务而言更重要的元素赋予更高权重(注意力)。 感知机可以认为是对不同 ......
简化版Transformer来了，网友：年度论文
前言 从大模型的根源开始优化。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!! ......
ENTROFORMER: A TRANSFORMER-BASED ENTROPY MODEL基于transformer的熵模型
目录简介模型核心代码性能实验 简介 \(\quad\)由于cnn在捕获全局依赖关系方面效率低，因此该文章提出了基于tansformer的熵模型——Entoformer；并针对图像压缩进行了top-k self-attention和a diamond relative position encodin ......
简化版Transformer ：Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。 大型语言模 ......
transformer中decoder到底是串行还是并行
在Transformer中，Decoder部分内部的不同层通常可以并行工作，这意味着每个Decoder层可以同时处理整个序列。比如，在处理Self-Attention时，模型可以同时计算所有位置的注意力权重。 但在生成输出序列时，尽管Decoder内部的不同层可以并行工作，模型仍然需要按顺序逐步生成 ......
ElasticSearch之cat transforms API
命令样例如下： curl -X GET "https://localhost:9200/_cat/transforms?v=true&format=json" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=* ......
CA-TCC: 半监督时间序列分类的自监督对比表征学习《Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification》(时间序列、时序表征、时间和上下文对比、对比学习、自监督学习、半监督学习、TS-TCC的扩展版)
现在是2023年11月27日，10:48，今天把这篇论文看了。 论文：Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification GitHub：https://g ......
Meta对Transformer架构下手了：新注意力机制更懂推理
前言 作者表示，这种全新注意力机制（Sytem 2 Attention）或许你也需要呢。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指 ......
Multivariate time series classification pytorch lstm
import torch import torch.nn as nn import torch.optim as optim import numpy as np from sklearn.model_selection import train_test_split # 生成示例数据 np.ran ......
nn.transformer
torch上给的案例 transformer_model = nn.Transformer(nhead=16, num_encoder_layers=12) # 创建一个具有16个注意力头和12个编码器层的Transformer模型 src = torch.rand((10, 32, 512))# ......
[Codeforces] CF1506C Epic Transformation
Epic Transformation - 洛谷 算是今天的题目里边思维难度最高的一道了，但是代码真的简单的要死 题意 你有一个长度为 \(n\) 的序列 \(a\)，你可以对其进行下列操作： 选择 \(i,j\) 满足 \(*a_i\neq a_j*\) 然后删除 \(*a_i,a_j*\) 两个 ......
Kaggle:Otto Group Classification
Kaggle:Otto Group Classification 数据处理 导入相应的包之后，从csv文件中读取数据，指定id列为index列。本身id列也不携带预测信息。同时将训练数据和测试数据拼接在一起。 train_data = pd.read_csv("dataset/train.csv", ......
呼吸灯的实现 用transform和animation实现
实现前端呼吸灯效果，录音效果 效果图如下： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name= ......
【论文阅读笔记】【OCR-End2End】 ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy in Transformer
ESTextSpotter ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 场景文本端到端识别任务中，检测和识别两个任务的协同作用十分关键，然而以往的方法通常用一些十分隐式的方式来体现这种协同作用（shared backbone, shared encoder, shared quer ......
打败VIT？Swin Transformer是怎么做到的
https://mp.weixin.qq.com/s/C5ZDYKPdHazR2bR9I9KFjQ 在之前的文章中，我们介绍过VIT（Vision Transformer） ，它将NLP中常用的Transformer架构用于图像分类的预训练任务上，取得了比肩ResNet的效果，成功证明了Transf ......
CF1506C Epic Transformation
CF1506C Epic Transformation Epic Transformation - 洛谷 算是今天的题目里边思维难度最高的一道了，但是代码真的简单的要死 题意 你有一个长度为 \(n\) 的序列 \(a\)，你可以对其进行下列操作： 选择 \(i,j\) 满足 \(*a_i\neq ......
记录--居中为什么要使用 transform？
这里给大家分享我在网上总结出来的一些知识，希望对大家有所帮助 引言 居中是我们在前端布局中经常会遇到的问题，其中包括水平居中和垂直居中。居中的方法很多，比如说水平居中可以使用text-align: center或者margin: 0 auto等等来实现，垂直居中则需要使用一些其它的特殊的技巧。比如说 ......
无依赖安装sentence-transformers
安装 pip install --no-cache-dir torch==1.8.0+cpu -f https://download.pytorch.org/whl/torch_stable.html pip install transformers tqdm numpy scikit-learn ......
自然语言处理预训练—— 来自Transformers的双向编码器表示（BERT）
我们已经介绍了几种用于自然语言理解的词嵌入模型。在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。让我们先来说明这个性质。 从上下文无关到上下文敏感 ELMo（Embeddings from Language Models） ......
关于TRANSFORM_TEX的一些问题
这个函数是用来控制shader面板中的tilling和offset的，本质为 uv * _MainTex_ST.xy + _MainTex_ST.zw; 但是使用TRANSFORM_TEX时需要注意的是，函数内部似乎没有封装完整，假如有类似于 TRANSFORM_TEX(uv + 20, _Main ......
《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》阅读笔记
论文标题 《A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation》 基于深度学习的细粒度对象分类和语义分割的综述 为什么是 “Object” 而不是 “image” 作 ......
机器学习——Transformer
10.6.2节中比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型 (Cheng ......
CART（Classification and Regression Trees）
CART（Classification and Regression Trees）是一种常用的决策树算法，既可以用于分类问题，也可以用于回归问题。CART算法由Breiman等人于1984年提出，是一种基于递归二分划分的贪婪算法。以下是对CART算法的详细解释： 1. 决策树的构建过程： CART算 ......
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎
前言 近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打 ......
Cost Aggregation with Transformers for Sparse Correspondence-读书笔记
Cost Aggregation with Transformers for Sparse Correspondence:2022 背景: 该论文结合了SuperGlue和CATs，将里面所有手工制作的部分都代替了。将CATs引入该模型，用Transformer取代手工制作的成本聚合方法，用于具有自 ......
Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut ......
TRL(Transformer Reinforcement Learning) PPO Trainer 学习笔记
(1) PPO Trainer TRL支持PPO Trainer通过RL训练语言模型上的任何奖励信号。奖励信号可以来自手工制作的规则、指标或使用奖励模型的偏好数据。要获得完整的示例，请查看examples/notebooks/gpt2-sentiment.ipynb。Trainer很大程度上受到了原 ......