526互联

transforms

基于生成式预训练Transformer的跨语言文本摘要与情感分析

[toc] 标题：《基于生成式预训练Transformer的跨语言文本摘要与情感分析》 ## 1. 引言 随着人工智能技术的不断发展，跨语言文本摘要和情感分析成为了许多应用场景的重要需求。在这些应用中，文本摘要通常是为了简洁、准确地概述文本内容，而情感分析则是为了分析文本中的情感倾向。这些技术需要处 ......
Transformer 文本 摘要 语言 情感

生成式预训练Transformer：探索其在自然语言处理领域的最新应用

[toc] 生成式预训练Transformer：探索其在自然语言处理领域的最新应用 ## 1. 引言 自然语言处理 (NLP) 是一项具有巨大潜力的技术领域，近年来得到了广泛的关注和发展。其中，生成式预训练Transformer(GPT) 是一种先进的神经网络模型，被广泛应用于文本生成、机器翻译、语 ......
自然语言 Transformer 领域 自然 语言

Transformer编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。下面是一些Trans

[toc] Transformer 编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。近年来，由于 Transformer 在自然语言处理领域的广泛应用，越来越多的研究者开始关注 Transformer 的改进与优化。本文将详细介绍 Transformer 编码器和解码器的原理、实 ......
自然语言 编码器 解码器 Transformer 语音

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

前言 从四篇论文入手，Sebastian 再谈 Transformer 架构图。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
新作 Transformer 注意力 机制

Transformer原论文

## 相关工作文献阅读与总结 ### Attention Is All You Need [知乎笔记](https://zhuanlan.zhihu.com/p/407012757) #### 摘要 **dominant sequence transduction 显性序列转导模型** 传统的：基于 ......
Transformer 论文

最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

The Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ The Annotated Transformer http://nlp.seas.harvard.edu/annotated-transf ......
Transformer Illustrated The Annotated 最好

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

前言 AI理论再进一步，破解ChatGPT指日可待？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指 ......
新作 Transformer 注意力 机制

【归一化】Transformer、ConvNeXt 中的 LayerNorm

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.13 > - ⏰最近更新时间：2023.6.13 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Transformer LayerNorm ConvNeXt

在Transformers 中使用约束波束搜索引导文本生成

## **引言** 本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 [如何生成文本: 通过 Transformers 用不同的解码方法生成文本](https://huggingface.co/blog/zh/how-to-generate)。 与普通的波束搜索不同，**约束* ......
波束 Transformers 文本

[重读经典论文] Swin-Transformer

参考博客：Swin-Transformer网络结构详解参考视频：12.1 Swin-Transformer网络结构详解使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于 ......
Swin-Transformer Transformer 经典 论文 Swin

【论文阅读】Pyramid Vision Transformer：A Versatile Backbone for Dense Prediction Without Convolutions

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.11 > - ⏰最近更新时间：2023.6.11 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Convolutions Transformer Prediction Versatile Backbone

fit、transform、fit_transform的区别和联系

# 1.来源 **fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。 sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方 ......
transform fit_transform fit

【论文阅读】CvT：Introducing Convolutions to Vision Transformers

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间： > - ⏰最近更新时间： > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 t ......
Convolutions Transformers Introducing Vision 论文

【论文阅读】Uformer：A General U-Shaped Transformer for Image Restoration

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.8 > - ⏰最近更新时间：2023.6.8 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章 ......
Restoration Transformer U-Shaped Uformer General

DIFFormer Scalable (Graph) Transformers Induced by Energy Constrained Diffusion

[TOC] > [Wu Q., Yang C., Zhao W., He Y., Wipf D. and Yan J. DIFFormer: Scalable (graph) transformers induced by energy constrained diffusion. ICLR, 20 ......
Transformers Constrained DIFFormer Diffusion Scalable

CSS3 transform

## Transform Transform字面上就是变形，改变的意思。 ``` transform ： none | [ ] ``` ```css transform: rotate | scale | skew | translate |matrix; ``` 旋转rotate、扭曲skew、缩 ......
transform CSS3 CSS

解码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
解码器 编码器 Transformers 模型 编码

2.4 Transform

通常而言，数据不会以处理好的形式出现，所以我们需要在训练前对数据进行预处理，以适应训练 所有 TorchVision 的 Dataset 都会有两个参数—— transform 用于修改特征，target_transform 用于修改标签——它们接受包含转换逻辑的可调用对象（其实就是接受函数对象）。 ......
Transform 2.4

编码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 编码 解码器 Transformers 模型

transformer预测ENSO(Sci.Adv.,2023-3-8)

预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
transformer ENSO 2023 Adv Sci

Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2

前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
Transformer GPT 结构 MT-DNN BERT

02.transformer

transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
transformer 02

大模型核心技术原理: Transformer架构详解

在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Transformer 架构 模型 原理 核心

Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记

## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......
Class Class-Incremental Distillation Segmentation Incrementer

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Tr ......
Transformers 模型 Hugging 语言 排行榜

transformers入门使用

# transformers入门使用 HuggingFace是一个开源社区，它提供了先进的NLP模型，数据集，以及其他工具。 模型：https://huggingface.co/models 数据集：https://huggingface.co/datasets 主要的模型 - 自然回归： `GPT ......
transformers

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 解码器 编码 Transformers 模型

背景 | 基于 Transformers 的编码器-解码器模型

```bash !pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 ``` Vaswani 等人在其名作 [Attention is all you need](https://arxiv.org/abs/1706. ......
编码器 解码器 Transformers 模型 编码

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 [Attention Is All ......
transformer RWKV RNN

比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤

前言 本文介绍了vanilla KD方法，它在ImageNet数据集上刷新了多个模型的精度记录。 本文转载自新智元 作者 | Joey 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
决算 Transformer Megabyte 模型 全新
共388篇  :10/13页 首页上一页10下一页尾页