526互联

transformer rnn

循环神经网络RNN完全解析：从基础理论到PyTorch实战

>在本文中，我们深入探讨了循环神经网络（RNN）及其高级变体，包括长短时记忆网络（LSTM）、门控循环单元（GRU）和双向循环神经网络（Bi-RNN）。文章详细介绍了RNN的基本概念、工作原理和应用场景，同时提供了使用PyTorch构建、训练和评估RNN模型的完整代码指南。 > 作者 TechLea ......
神经网络 基础理论 实战 神经 PyTorch

聊聊HuggingFace Transformer

## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config ......
HuggingFace Transformer

GPT之路(四) 神经网络架构Transformer工作原理

原文：What Are Transformer Models and How Do They Work? Transformer模型是机器学习中最令人兴奋的新发展之一。它们在论文Attention is All You Need中被介绍。Transformer可以用于写故事、文章、诗歌，回答问题，翻 ......
神经网络 Transformer 架构 神经 原理

swin transformer

摘要核心1.本文提出一种可以适用于多种任务的backbone->swin transformer2.Transformer迁移到CV中有两点挑战->物体尺度不一，图像分辨率大3.为了解决尺度不一的问题，Swin Transformer使用了分层的结构(Pyramid)4.为了能够在高分辨率上运行，S ......
transformer swin

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命是 _让优秀的机器学习普惠化_ ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 [与 bi ......
transformers AutoGPTQ 模型 语言

RNN/LSTM/GRU

RNN模型： 激活函数采用tanh() LSTM（长短期记忆网络） LSTM通过增加三个门，激活函数sigmoid输出0到1之间的数值，0表示不允许通过，1表示允许通过。 通过门来增加前后序列间的关联关系。 输入门、输出门、遗忘门（长记忆、短记忆） GRU（Gated Recurrent Unit, ......
LSTM RNN GRU

transformer模型首次体验代码

首先是安装python，更新pip源到清华源。安装transformer pip install transformer 安装jupyter lab，也简单一行 pip install jupyterlab 现在不想用anaconda了，因为国内没有源了，国外的又慢。直接用pip吧。 然后开始体验之 ......
transformer 模型 代码

使用 Transformers 优化文本转语音模型 Bark

🤗 Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。 🤗 Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工 ......
Transformers 语音 模型 文本 Bark

Transformer计算公式

## LLM inference workflow **Generative Inference**. A typical LLM generative inference task consists of two stages: i) the prefill stage which takes a ......
Transformer 公式

bert，Bidirectional Encoder Representation from Transformers

BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上 ......
Representation Bidirectional Transformers Encoder bert

transformer

masked mutil-head attetion mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。其中，padding mask 在所有的 scaled do ......
transformer

Transformer历史揭秘及Transformer-DETR

Transformer历史揭秘及Transformer-DETR 揭秘创始八子：聚是一团火，散是满天星 Transformer创始八子深度揭秘：陈旧的身躯留不住年轻的心。 谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatG ......
Transformer Transformer-DETR 历史 DETR

transformer模型的历史

Transformer 模型在深度学习领域，尤其是自然语言处理（NLP）中，起到了革命性的作用。以下是其发展历程的简要概述： 1. **背景**： - 在 Transformer 出现之前，循环神经网络（RNN）及其更先进的版本，如长短时记忆网络（LSTM）和门控循环单元（GRU）是处理序列任务的主 ......
transformer 模型 历史

transformer小白入门

transformer库是huggingface发布的1个框架，非常好用，很多外行看起来高大上的问题，用它都可以轻松解决，先来看1个小例子： 一、情感分析 from transformers import pipeline classifier = pipeline('sentiment-analy ......
transformer

论文解读（CTDA）《Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification论 ......
domain classification cross-domain multi-source Contrastive

Transformers包使用记录

Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（Pytorch/Tensorflow/Jax）无缝转移。以下记录基于HuggingFace官网教程：https://github. ......
Transformers

RNN，LSTM，ResNet

神经网络的梯度更新 反向传播算法：神经网络中加速计算参数梯度值的方法 梯度下降算法 -> 随机梯度下降、动量随机梯度 凸优化： 几何意义，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集 BN训练测试： BN本质上是解决传播过程中的梯度消失问题 ......
ResNet LSTM RNN

聊聊Transformer和GPT模型

本文基于《生成式人工智能》一书阅读摘要。感兴趣的可以去看看原文。 可以说，Transformer已经成为深度学习和深度神经网络技术进步的最亮眼成果之一。Transformer能够催生出像ChatGPT这样的最新人工智能应用成果。 ## 序列到序列(seq2seq) Transformer能实现的核心 ......
Transformer 模型 GPT

[机器学习]对transformer使用padding mask

注：本文是对GPT4的回答的整理校正补充。 在处理序列数据时，由于不同的序列可能具有不同的长度，我们经常需要对较短的序列进行填充（padding）以使它们具有相同的长度。但是，在模型的计算过程中，这些填充值是没有实际意义的，因此我们需要一种方法来确保模型在其计算中忽略这些填充值。这就是padding ......
transformer 机器 padding mask

解码Transformer：自注意力机制与编解码器机制详述与代码实现

> 本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理，并展示其在人工智能领域的广泛影响。 > 作者 TechLe ......
机制 解码器 Transformer 注意力 代码

torchvision中的transforms

torchvision是图像处理库，计算机视觉工具包。 在pycharm中使用镜像下载包时在命令行输入（以cv2为例）： #使用国内镜像下载pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple transforms ......
torchvision transforms

Windows11安装python模块transformers报错Long Path处理

Windows11安装python模块transformers报错，报错信息如下 ``` ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'C:\\Users\\274 ......
transformers 模块 Windows python Long

【已解决】module 'torchaudio.transforms' has no attribute 'ToTensor'

1.报错，这两种情况 module 'torchaudio.transforms' has no attribute 'ToTensor' module 'torchvision' has no attribute 'transforms' 2.修改方式： 将导库的方式从 【import torch ......
39 torchaudio transforms attribute ToTensor

[论文速览] Handwriting Transformers

## Pre title: Handwriting Transformers accepted: ICCV 2021 paper: https://arxiv.org/abs/2104.03964 code: https://github.com/ankanbhunia/Handwriting-Tr ......
Transformers Handwriting 论文

transform和大模型训练相关

1.数据流程 注：解码的过程会多一个Attention，先加掩码来避免解码获取当前word后的词 数据的计算流程：embeding——》multi head attention——》Add&Norm——》FNN——》Add&Norm——》Linear——》softmax FNN和多头Attentio ......
transform 模型

[论文阅读] Neural Transformation Fields for Arbitrary-Styled Font Generation

## Pre title: Neural Transformation Fields for Arbitrary-Styled Font Generation accepted: CVPR 2023 paper: https://openaccess.thecvf.com/content/CVPR2 ......
Arbitrary-Styled Transformation Generation Arbitrary Neural

Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测|附代码数据

全文下载链接： http://tecdat.cn/?p=27042 最近我们被客户要求撰写关于新冠疫情的研究报告，包括一些图形和统计输出。 在本文中，该数据根据世界各国提供的新病例数据提供。 获取时间序列数据 df=pd.read_csv("C://global.csv") 探索数据 此表中的数据以 ......
时间序列 神经网络 疫情 序列 神经

transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer

# transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten ......
tensorflow transformer ValueError invalid pointer

基于 Habana Gaudi 的 Transformers 入门

几周前，我们很高兴地 [宣布](https://huggingface.co/blog/zh/habana) [Habana Labs](https://habana.ai) 和 [Hugging Face](https://huggingface.co/) 将开展加速 transformer 模型 ......
Transformers Habana Gaudi

《Decision Transformer: Reinforcement Learning via Sequence Modeling》论文学习

一、Introduction 先前的研究工作表明，Transformer可以对处于高维分布的语义概念进行大规模建模抽象，比较典型地体现如： 基于自然语言的零样本泛化（zero-shot generalization） 分布外图像生成（out-of-distribution image generat ......
Reinforcement Transformer Decision Learning Modeling
共441篇  :7/15页 首页上一页7下一页尾页