Transformers
深入了解 Transformers – Part 1: 介绍 Transformer 模型
动动发财的小手，点个赞吧！ 自从最新的Large Language Models（LLaM）发布以来，如OpenAI的GPT系列、开源模型Bloom或谷歌发布的LaMDA等，Transformer展现出了巨大的潜力，成为了深度学习的前沿架构楷模。 尽管已经有几篇文章介绍了 transformer 及 ......
使用 Transformers 进行图分类
在之前的 博文 中，我们探讨了图机器学习的一些理论知识。这一篇我们将探索如何使用 Transformers 库进行图分类。(你也可以从 此处 下载演示 notebook，跟着一起做！) 目前，Transformers 中唯一可用的图 transformer 模型是微软的 Graphormer，因此本 ......
End-to-End Object Detection with Transformers
本文提出了一种端到端的，使用transformer的目标检测方法。作者将目标检测视为直接集合预测的问题。相比较于之前的方法，有效地消除了许多手工设计的组件的需求。 之前目标检测中，不论是proposal based的方法，还是anchor based的方法，都需要用到nms（非极大值抑制）等后处理方 ......
：）关于transformers模型的保存与加载-|
关于transformers模型的保存与加载 两种情况， 自定义模型训练后保存， transformers预训练模型保存。 参考代码 # -*- coding: utf-8 -*- import torch from transformers import GPT2LMHeadModel from ......
论文解读（Moco v3）《An Empirical Study of Training Self-Supervised Vision Transformers》
论文信息 论文标题：Improved Baselines with Momentum Contrastive Learning论文作者：Xinlei Chen, Saining Xie, Kaiming He论文来源：2021 ICCV论文地址：download 论文代码：download引用次数： ......
下篇 | 使用 🤗 Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展 ......
基于 Hugging Face Datasets 和 Transformers 的图像相似性搜索
基于 HuggingFace Datasets 和 Transformers 的图像相似性搜索 通过本文，你将学习使用 🤗 Transformers 构建图像相似性搜索系统。找出查询图像和潜在候选图像之间的相似性是信息检索系统的一个重要用例，例如反向图像搜索 (即找出查询图像的原图)。此类系统试图 ......
了解 Transformers 是如何“思考”的
Transformer 模型是 AI 系统的基础。已经有了数不清的关于 "Transformer 如何工作" 的核心结构图表。 但是这些图表没有提供任何直观的计算该模型的框架表示。当研究者对于 Transformer 如何工作抱有兴趣时，直观的获取他运行的机制变得十分有用。 Thinking Lik ......
Huggingface之transformers零基础使用指南
前几篇博文中介绍了Transformer，由于其优越的性能表现，在工业界使用的越来越广泛，同时，配合迁移学习理论，越来越多的Transformer预训练模型和源码库逐渐开源，Huggingface就是其中做的最为出色的一家机构。Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其所... ......