Transformers
基于 Habana Gaudi 的 Transformers 入门
几周前，我们很高兴地 [宣布](https://huggingface.co/blog/zh/habana) [Habana Labs](https://habana.ai) 和 [Hugging Face](https://huggingface.co/) 将开展加速 transformer 模型 ......
Bidirectional Encoder Representations from Transformers
BERT（Bidirectional Encoder Representations from Transformers）是由Google在2018年提出的自然语言处理（NLP）模型。它是一个基于Transformer架构的预训练模型，通过无监督学习从大量的文本数据中学习通用的语言表示，从而能够更好... ......
Hugging News #0717: 开源大模型榜单更新、音频 Transformers 课程完成发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉 😍 ## 重磅更新 ......
[论文速览] A Closer Look at Self-supervised Lightweight Vision Transformers
## Pre title: A Closer Look at Self-supervised Lightweight Vision Transformers accepted: ICML 2023 paper: https://arxiv.org/abs/2205.14443 code: https ......
NLP | Transformers回顾 ：从BERT到GPT4
人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 ......
OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers
地址：https://arxiv.org/pdf/2207.02255.pdf 1. 摘要 OSFormer为基于transformer的伪装实例分割(CIS)框架，有两个关键设计，首先是位置敏感transformer（LST），通过【位置引导查询】和【混合卷积前向传播网络】获得定位标签和实例级参数 ......
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个 ......
transformers库的使用【一】——pipeline的简单使用
transformers库的使用使用pipeline API来快速使用一些预训练模型 使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务： 1、情感分析（Sentment analysis）：分析文本是正面的还是负面的2、文本生成（in English）： ......
Huggingface Transformers库学习笔记（一）：入门（Get started）
前言 Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常 ......
sentence-transformers(SBert)中文文本相似度预测(附代码)
sentence-transformers(SBert)中文文本相似度预测(附代码) https://blog.csdn.net/weixin_54218079/article/details/128687878 https://gitee.com/liheng103/sbert-evaluate ......
Transformers/SpaCy安装在Android手机(Termux)的Python开发环境
0. 安装Rust(Python库safetensors依赖Rust环境): $ rm -rf ~/.cargo #删除所有Rust残余旧版本 $ pkg install rust #最好安装完退出Termux所有Sessions $ mkdir -p ~/.cargo #重建rust的用户配置目录 ......
transformers
sentence = "Hello, my son is cuting."input_ids_method1 = torch.tensor(tokenizer.encode(sentence, add_special_tokens=True)) # Batch size 1 //一次性进行分词和id ......
在Transformers 中使用约束波束搜索引导文本生成
## **引言** 本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 [如何生成文本: 通过 Transformers 用不同的解码方法生成文本](https://huggingface.co/blog/zh/how-to-generate)。 与普通的波束搜索不同，**约束* ......
【论文阅读】CvT：Introducing Convolutions to Vision Transformers
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间： > - ⏰最近更新时间： > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 t ......
DIFFormer Scalable (Graph) Transformers Induced by Energy Constrained Diffusion
[TOC] > [Wu Q., Yang C., Zhao W., He Y., Wipf D. and Yan J. DIFFormer: Scalable (graph) transformers induced by energy constrained diffusion. ICLR, 20 ......
解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Tr ......
transformers入门使用
# transformers入门使用 HuggingFace是一个开源社区，它提供了先进的NLP模型，数据集，以及其他工具。 模型：https://huggingface.co/models 数据集：https://huggingface.co/datasets 主要的模型 - 自然回归： `GPT ......
编码器-解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
背景 | 基于 Transformers 的编码器-解码器模型
```bash !pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 ``` Vaswani 等人在其名作 [Attention is all you need](https://arxiv.org/abs/1706. ......
End-to-End Object Detection with Transformers论文阅读笔记
## 摘要 作者提出了一种新的基于Transformer的目标检测模型DETR，将检测视为集合预测问题，无需进行nms以及anchor generation等操作。同时，对模型进行简单的修改就可以应用到全景分割任务中。 ## 方法 ### Object detection set predictio ......
Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers概述
0.前言 相关资料： arxiv github 论文解读 论文基本信息： 领域：弱监督语义分割 发表时间： CVPR 2022(2022.3.5) 1.针对的问题 目前主流的弱监督语义分割方法通常首先训练分类模型，基于类别激活图（CAM）或其变种生成初始伪标签；然后对伪标签进行细化作为监督信息训练一 ......
Do Transformers Really Perform Badly for Graph Representation
Ying C., Cai T., Luo S., Zheng S., Ke D., Shen Y. and Liu T. Do transformers really perform badly for graph representation? NIPS, 2021. 概 本文提出了一种基于图的 ......
在 Transformers 中使用对比搜索生成可媲美人类水平的文本 🤗
1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法的论文 “A Contrastive Framework for Neural Text Gener ......
Transformers回顾 ：从BERT到GPT4
人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 ......
An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
模型如下图所示: 将H×W×C的图像reshape成了N×(P2×C),其中(H,W)是图像的原始分辨率,C是通道数,(P,P)是每个图像块的分辨率,N=H×W/P2为图像块的数量,将一个图像块使用可学习的线性层映射到维度为D的隐藏向量,如式(1)所示,线性映射的输出称为patch embeddin ......
Transformers 发展一览
动动发财的小手，点个赞吧！ Transformers 研究概览 1. 介绍 近年来，深度学习的研究步伐显着加快，因此越来越难以跟上所有最新发展。尽管如此，有一个特定的研究方向因其在自然语言处理、计算机视觉和音频处理等多个领域取得的成功而备受关注。这在很大程度上归功于其高度适应性的架构。该模型称为 T ......
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B ......
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
简介 近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型 ......