526互联

transformer rnn

RNN循环神经网络 、LSTM长短期记忆网络实现时间序列长期利率预测|附代码数据

在 Tensorflow 之上运行的综合库，具有 CPU 和 GPU 功能 本文将演示如何在 R 中使用 LSTM 实现时间序列预测。 简单的介绍 时间序列涉及按时间顺序收集的数据。我用 xt∈R 表示单变量数据，其中 t∈T 是观察数据时的时间索引。时间 t 在 T=Z 的情况下可以是离散的，或者 ......
时间序列 神经网络 网络 序列 长短

Transformer原论文

## 相关工作文献阅读与总结 ### Attention Is All You Need [知乎笔记](https://zhuanlan.zhihu.com/p/407012757) #### 摘要 **dominant sequence transduction 显性序列转导模型** 传统的：基于 ......
Transformer 论文

最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

The Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ The Annotated Transformer http://nlp.seas.harvard.edu/annotated-transf ......
Transformer Illustrated The Annotated 最好

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

前言 AI理论再进一步，破解ChatGPT指日可待？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指 ......
新作 Transformer 注意力 机制

【归一化】Transformer、ConvNeXt 中的 LayerNorm

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.13 > - ⏰最近更新时间：2023.6.13 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Transformer LayerNorm ConvNeXt

在Transformers 中使用约束波束搜索引导文本生成

## **引言** 本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 [如何生成文本: 通过 Transformers 用不同的解码方法生成文本](https://huggingface.co/blog/zh/how-to-generate)。 与普通的波束搜索不同，**约束* ......
波束 Transformers 文本

[重读经典论文] Swin-Transformer

参考博客：Swin-Transformer网络结构详解参考视频：12.1 Swin-Transformer网络结构详解使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于 ......
Swin-Transformer Transformer 经典 论文 Swin

【论文阅读】Pyramid Vision Transformer：A Versatile Backbone for Dense Prediction Without Convolutions

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.11 > - ⏰最近更新时间：2023.6.11 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Convolutions Transformer Prediction Versatile Backbone

Matlab用深度学习循环神经网络RNN长短期记忆LSTM进行波形时间序列数据预测|附代码数据

全文链接：http://tecdat.cn/?p=27279 最近我们被客户要求撰写关于深度学习循环神经网络RNN的研究报告，包括一些图形和统计输出。 此示例说明如何使用长短期记忆 (LSTM) 网络预测时间序列 LSTM神经网络架构和原理及其在Python中的预测应用 LSTM 网络是一种循环神经 ......
时间序列 数据 神经网络 波形 序列

fit、transform、fit_transform的区别和联系

# 1.来源 **fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。 sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方 ......
transform fit_transform fit

【论文阅读】CvT：Introducing Convolutions to Vision Transformers

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间： > - ⏰最近更新时间： > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 t ......
Convolutions Transformers Introducing Vision 论文

【论文阅读】Uformer：A General U-Shaped Transformer for Image Restoration

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.8 > - ⏰最近更新时间：2023.6.8 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章 ......
Restoration Transformer U-Shaped Uformer General

DIFFormer Scalable (Graph) Transformers Induced by Energy Constrained Diffusion

[TOC] > [Wu Q., Yang C., Zhao W., He Y., Wipf D. and Yan J. DIFFormer: Scalable (graph) transformers induced by energy constrained diffusion. ICLR, 20 ......
Transformers Constrained DIFFormer Diffusion Scalable

CSS3 transform

## Transform Transform字面上就是变形，改变的意思。 ``` transform ： none | [ ] ``` ```css transform: rotate | scale | skew | translate |matrix; ``` 旋转rotate、扭曲skew、缩 ......
transform CSS3 CSS

Matlab用深度学习循环神经网络RNN长短期记忆LSTM进行波形时间序列数据预测|附代码数据

全文链接：http://tecdat.cn/?p=27279 最近我们被客户要求撰写关于深度学习循环神经网络RNN的研究报告，包括一些图形和统计输出。 此示例说明如何使用长短期记忆 (LSTM) 网络预测时间序列 LSTM神经网络架构和原理及其在Python中的预测应用 LSTM 网络是一种循环神经 ......
时间序列 数据 神经网络 波形 序列

人工智能创新挑战赛：海洋气象预测Baseline[4]完整版（TensorFlow、torch版本）含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测

人工智能创新挑战赛：海洋气象预测Baseline[4]完整版（TensorFlow、torch版本）含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测 ......
模型 整版 挑战赛 人工智能 TensorFlow

解码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
解码器 编码器 Transformers 模型 编码

人工智能创新挑战赛：助力精准气象和海洋预测Baseline[3]：TCNN+RNN模型、SA-ConvLSTM模型

# “AI Earth”人工智能创新挑战赛：助力精准气象和海洋预测Baseline[3]：TCNN+RNN模型、SA-ConvLSTM模型 # 1.气象海洋预测-模型建立之TCNN+RNN 本次任务我们将学习来自TOP选手“swg-lhl”的冠军建模方案，该方案中采用的模型是TCNN+RNN。 在T ......
模型 挑战赛 人工智能 SA-ConvLSTM 气象

2.4 Transform

通常而言，数据不会以处理好的形式出现，所以我们需要在训练前对数据进行预处理，以适应训练 所有 TorchVision 的 Dataset 都会有两个参数—— transform 用于修改特征，target_transform 用于修改标签——它们接受包含转换逻辑的可调用对象（其实就是接受函数对象）。 ......
Transform 2.4

编码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 编码 解码器 Transformers 模型

transformer预测ENSO(Sci.Adv.,2023-3-8)

预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
transformer ENSO 2023 Adv Sci

Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2

前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
Transformer GPT 结构 MT-DNN BERT

02.transformer

transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
transformer 02

大模型核心技术原理: Transformer架构详解

在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Transformer 架构 模型 原理 核心

Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记

## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......
Class Class-Incremental Distillation Segmentation Incrementer

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Tr ......
Transformers 模型 Hugging 语言 排行榜

transformers入门使用

# transformers入门使用 HuggingFace是一个开源社区，它提供了先进的NLP模型，数据集，以及其他工具。 模型：https://huggingface.co/models 数据集：https://huggingface.co/datasets 主要的模型 - 自然回归： `GPT ......
transformers

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 解码器 编码 Transformers 模型

背景 | 基于 Transformers 的编码器-解码器模型

```bash !pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 ``` Vaswani 等人在其名作 [Attention is all you need](https://arxiv.org/abs/1706. ......
编码器 解码器 Transformers 模型 编码

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 [Attention Is All ......
transformer RWKV RNN
共441篇  :11/15页 首页上一页11下一页尾页