transformers
论文解读（CTDA）《Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification论 ......
Transformers包使用记录
Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（Pytorch/Tensorflow/Jax）无缝转移。以下记录基于HuggingFace官网教程：https://github. ......
聊聊Transformer和GPT模型
本文基于《生成式人工智能》一书阅读摘要。感兴趣的可以去看看原文。 可以说，Transformer已经成为深度学习和深度神经网络技术进步的最亮眼成果之一。Transformer能够催生出像ChatGPT这样的最新人工智能应用成果。 ## 序列到序列(seq2seq) Transformer能实现的核心 ......
[机器学习]对transformer使用padding mask
注：本文是对GPT4的回答的整理校正补充。 在处理序列数据时，由于不同的序列可能具有不同的长度，我们经常需要对较短的序列进行填充（padding）以使它们具有相同的长度。但是，在模型的计算过程中，这些填充值是没有实际意义的，因此我们需要一种方法来确保模型在其计算中忽略这些填充值。这就是padding ......
解码Transformer：自注意力机制与编解码器机制详述与代码实现
> 本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理，并展示其在人工智能领域的广泛影响。 > 作者 TechLe ......
torchvision中的transforms
torchvision是图像处理库，计算机视觉工具包。 在pycharm中使用镜像下载包时在命令行输入（以cv2为例）： #使用国内镜像下载pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple transforms ......
Windows11安装python模块transformers报错Long Path处理
Windows11安装python模块transformers报错，报错信息如下 ``` ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'C:\\Users\\274 ......
【已解决】module 'torchaudio.transforms' has no attribute 'ToTensor'
1.报错，这两种情况 module 'torchaudio.transforms' has no attribute 'ToTensor' module 'torchvision' has no attribute 'transforms' 2.修改方式： 将导库的方式从 【import torch ......
[论文速览] Handwriting Transformers
## Pre title: Handwriting Transformers accepted: ICCV 2021 paper: https://arxiv.org/abs/2104.03964 code: https://github.com/ankanbhunia/Handwriting-Tr ......
transform和大模型训练相关
1.数据流程 注：解码的过程会多一个Attention，先加掩码来避免解码获取当前word后的词 数据的计算流程：embeding——》multi head attention——》Add&Norm——》FNN——》Add&Norm——》Linear——》softmax FNN和多头Attentio ......
[论文阅读] Neural Transformation Fields for Arbitrary-Styled Font Generation
## Pre title: Neural Transformation Fields for Arbitrary-Styled Font Generation accepted: CVPR 2023 paper: https://openaccess.thecvf.com/content/CVPR2 ......
transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer
# transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten ......
基于 Habana Gaudi 的 Transformers 入门
几周前，我们很高兴地 [宣布](https://huggingface.co/blog/zh/habana) [Habana Labs](https://habana.ai) 和 [Hugging Face](https://huggingface.co/) 将开展加速 transformer 模型 ......
《Decision Transformer: Reinforcement Learning via Sequence Modeling》论文学习
一、Introduction 先前的研究工作表明，Transformer可以对处于高维分布的语义概念进行大规模建模抽象，比较典型地体现如： 基于自然语言的零样本泛化（zero-shot generalization） 分布外图像生成（out-of-distribution image generat ......
Transform操作——移动旋转缩放
Transform操作——移动旋转缩放 1.移动 transform.Translate(Vector3.left * (mouse_x * 15f) * Time.deltaTime); cube.transform.position = cube.transform.position + new ......
Attention机制竟有bug？Softmax是罪魁祸首，影响所有Transformer
前言 「大模型开发者，你们错了。」 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
Meta-Transformer 多模态学习的统一框架
Meta-Transformer是一个用于多模态学习的新框架，用来处理和关联来自多种模态的信息，如自然语言、图像、点云、音频、视频、时间序列和表格数据，虽然各种数据之间存在固有的差距，但是Meta-Transformer利用冻结编码器从共享标记空间的输入数据中提取高级语义特征，不需要配对的多模态训练 ......
Meta-Transformer：1个框架理解12种模态引发的质变与涌现（已开源）
前言 近日，香港中文大学多媒体实验室（CUHK MMLab）联合上海人工智能实验室的OpenGVLAB研究团队提出一个统一多模态学习框架 Meta-Transformer，实现骨干网络的大一统，具有一个模态共享编码器，并且无需配对数据，即可理解 12 种模态信息, 并提供了多模态无边界融合的新范式。 ......
Bidirectional Encoder Representations from Transformers
BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的自然语言处理（NLP）模型。它是一个基于Transformer架构的预训练模型，通过无监督学习从大量的文本数据中学习通用的语言表示，从而能够更好... ......
Transformer模型
### Transformer模型 [Transformer模型及其实现](https://blog.csdn.net/moo611/article/details/122234867) 历史：谷歌团队在2017年提出的经典NLP模型（目前很火的bert模型就是基于此模型）。 特点：Transfor ......
CF623E Transforming Sequence
难点在于卡 `__int128`（？）。 首先 $N>K$ 显然无解，只需考虑 $N\le K$ 的情况。然而这并没有什么用。 把 $b$ 看作集合，显然 $b_i\subset b_{i+1}$。所以令 $f_{n,i}$ 为考虑到 $b_n$ 且 $|b_n|=i$ 的方案数，集合元素无序，即选 ......
VBA利用transform函数和ADO实现交叉汇总
VBA中transform函数基本语法： Creates a crosstab query. Syntax TRANSFORM aggfunction selectstatement PIVOT pivotfield [IN (value1[, value2[, ...]])] The TRANSF ......
Vision Transformer
Vision Transformer 本文关注ViT论文`4.5 Inspecting Vision Transformer`可视化的原理及实现，此外还对ViT pytorch源码实现进行理解 [toc] # Introduction [论文地址](arXiv:2010.11929) ## Titl ......
transformer中解码器的实现细节
1. 前言 17年google团队发表l了论文《Attention Is All You Need》，transformer横空出世，并引领了AI学术圈的研发风向，以Transformer为基础模型的新模型层出不穷，无论是NLP还是CV或者是多模态，attention遍地开花。 这篇文章遵循enco ......
Transformer（转换器）
Sequence To Sequence（序列对序列） 输入一个序列，输出一个序列 输出序列的长度由机器自己决定，例如：语音辨识、机器翻译、语音翻译 Sequence To Sequence一般分成两部分： Encoder:传入一个序列，由Encoder处理后传给Decoder Decoder:决定 ......
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升
前言 FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技 ......
Transformer取代者登场！微软、清华刚推出RetNet：成本低、速度快、性能强
前言 Transformer 的训练并行性是以低效推理为代价的：每一步的复杂度为 O (N) 且键值缓存受内存限制，让 Transformer 不适合部署。不断增长的序列长度会增加 GPU 内存消耗和延迟，并降低推理速度。研究者们一直在努力开发下一代架构，希望保留训练并行性和 Transformer ......
[未解决] vue transform-blocks解析源代码报错：Illegal tag name. Use '<' to print '<'.
报错内容： [vite] Internal server error: Illegal tag name. Use '<' to print '`标签后报错，但其他vue文件可以正常读取和展示。 报错的文件，去掉``标签就可以正常加载。报错的方法是vue-compiler的`baseParse()` ......
从RNN到Transformer
## 1. RNN 循环神经网络的内容可参考https://www.youtube.com/watch?v=UNmqTiOnRfg。 RNN建模的对象是具有时间上前后依赖关系的对象。以youtube上的这个视频为例，一个厨师如果只根据天气来决定今天他做什么菜，那么就是一个普通的神经网络；但如果他第i ......
Hugging News #0717: 开源大模型榜单更新、音频 Transformers 课程完成发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉 😍 ## 重磅更新 ......