transformer
大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
# 大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍 # 1.大语言模型的预训练 ## 1.LLM预训练的基本概念 预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于反向传播（Back Propagation，BP）算法 ......
Transform LiveData
查询资料的其中一个场景： 创建一个回调函数，当查询后台的时候，后台有结果了，回调对应的回调函数，并将结果保存到LiveData中。 public class DataModel { ... public MutableLiveData<List<Repo>> searchRepo(String qu ......
[论文速览] A Closer Look at Self-supervised Lightweight Vision Transformers
## Pre title: A Closer Look at Self-supervised Lightweight Vision Transformers accepted: ICML 2023 paper: https://arxiv.org/abs/2205.14443 code: https ......
论文日记四：Transformer(论文解读+NLP、CV项目实战)
# 导读 重磅模型**transformer**,在2017年发布，但就今天来说产生的影响在各个领域包括NLP、CV这些都是巨大的！ Paper《[Attention Is All You Need](https://arxiv.org/pdf/1706.03762.pdf)》,作者是在机器翻译这个 ......
Swin Transformer结构梳理
[TOC] > Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin Transformer的两大特性是滑动窗口和层级式结构。 1.滑动窗口使相邻的窗口之间进行交互，从而达到全局建模的能力。 2.层级式结构的好处在于不仅灵活的提供各种尺度的信息，同时还因为 ......
Shell | Transformer-xl代码的shell代码实现
**实现网址：**https://github.com/kimiyoung/transformer-xl/tree/master/pytorch  patch embedding：例如输入图片大小为224x224，将图片分为固定大小的patch，patch大小为16x16，则每张图像会生成224x224/16x16=196个patch，即输入序列长度为 ......
transformer
arXiv:1706.03762 # 1. 问题提出 全连接神经网络（FCN），可以很好的处理输入为1个向量（特征向量）的情况，但是如果输入是一组向量，FCN处理起来不太方便 以词性标记的问题为例 对于处于同一个句子中的相同的2个单词`saw`，词性不同，前者为动词（V），后者为名词（N） 如果尝试 ......
Transformer学习笔记
[09 Transformer 之什么是注意力机制（Attention）@水导](https://www.bilibili.com/video/BV1QW4y167iq) [ELMo原理解析及简单上手使用@知乎](https://zhuanlan.zhihu.com/p/51679783) ELMo ......
【论文阅读】CrossViT：Cross-Attention Multi-Scale Vision Transformer for Image Classification
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：23.7.10 > - ⏰最近更新时间：23.7.10 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有 ......
N9、Transformer实战-单词预测
🍨 本文为🔗365天深度学习训练营 中的学习记录博客 🍖 原作者：K同学啊 | 接辅导、项目定制 🚀 文章来源：K同学的学习圈子 📌 本周任务： 理解文中代码逻辑并成功运行 自定义输入一段英文文本进行预测（拓展内容，可自由发挥） 数据：Wikitext-2数据集 WikiText 英语词库 ......
【论文阅读】CrossFormer: A Versatile Vision Transformer Based on Cross-scale Attention
来自CVPR 2021 论文地址：https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2108.00154.pdf 代码地址：https://link.zhihu.com/?target=https%3A//github.com/cheers ......
NLP | Transformers回顾 ：从BERT到GPT4
人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 ......
据说，Transformer 不能有效地进行时间序列预测？
## 简介 几个月前，我们介绍了 [Informer](https://huggingface.co/blog/informer) 这个模型，相关论文 ([Zhou, Haoyi, et al., 2021](https://arxiv.org/abs/2012.07436)) 是一篇获得了 AAA ......
【论文阅读】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
来自ICCV2021 论文地址：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) 代码地址：https://link. ......
LeViT-UNet：transformer 编码器和CNN解码器的有效整合
前言 本文介绍了一种新的医学图像分割架构levi-unet，它使用transformer 作为编码器，这使得它能够更有效地学习远程依赖关系。levi-unet比传统的U-Nets更快，同时仍然实现了最先进的分割性能。 本文转载自DeepHub IMBA 作者 | Golnaz Hosseini 仅用 ......
OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers
地址：https://arxiv.org/pdf/2207.02255.pdf 1. 摘要 OSFormer为基于transformer的伪装实例分割(CIS)框架，有两个关键设计，首先是位置敏感transformer（LST），通过【位置引导查询】和【混合卷积前向传播网络】获得定位标签和实例级参数 ......
LeViT-UNet：transformer 编码器和CNN解码器的有效整合
levi - unet[2]是一种新的医学图像分割架构，它使用transformer 作为编码器，这使得它能够更有效地学习远程依赖关系。levi - unet[2]比传统的U-Nets更快，同时仍然实现了最先进的分割性能。 levi - unet[2]在几个具有挑战性的医学图像分割基准上取得了比其他 ......
预训练模型 | Transformer模型的规模大小
Transformer 有两个模型的规模大小标准：base、big。具体去thumt的models文件夹下的Transformer 模型实现可以看到其参数大小。 
VIT主要用于分类任务 一、VIT，即纯transformer模型 图1 VIT 架构 VIT模型的架构如图1所示。主要分为三个步骤： 1. 首先将输入的图片分成patches（如16*16的patch），然后将每个patch输入到Embedding层（即Linear Projection of F ......
css中transform具体使用，及场景
CSS transform 属性用于改变元素的形状、大小和位置，以及创建各种动画效果。以下是 transform 常用的一些属性及其使用场景： 1.translatetranslate 属性用于移动元素的位置。它可以接受一个或两个参数，分别表示横向和纵向的偏移量。 ```css / 在x轴上向右移动 ......
Spark中RDD的Transformation算子
# RDD的Transformation算子 ## map map算子的功能为做映射，即将原来的RDD中对应的每一个元素，应用外部传入的函数进行运算，返回一个新的RDD ```Scala val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8 ......
2.Transformation线性变换
## WHY - 我们通过摄像机对拍摄的画面进行缩放、旋转、偏移，来将三维模型映射到二维的屏幕画面上 ## 二维线性变换 $$ x^,=a~x+b~y\\y^,=c~x+d~y\\\begin{bmatrix}x^,\\y^, \\ \end{bmatrix} =\begin{bmatrix} a& ......
Environment Perception and Motion Strategy for Transformable Legged Wheel Robot on rough terrains
论文发表于2018年。这篇论文介绍了三模式机器人在野外环境下的环境感知和模式切换策略。机器人拥有arc mode、round mode 、claw mode三种模式。图a表示由round mode 变换至arc mode，图b 表示由arc mode 变换为 claw mode。 1.感知 1.1 ......
N8、图解Transformer
📌 本周任务： 了解Transformer 一、Transformer宏观结构¶ 编码部分（encoders）由多层编码器（Encoder）组成。解码部分（decoders）也是由多层的解码器（Decoder）组成。每层编码器、解码器网络结构是一样的，但是不同层编码器、解码器网络结构不共享参数。 ......
将生成式预训练Transformer应用于文本分类：实现高效文本处理的创新应用
作者：禅与计算机程序设计艺术 77. 将生成式预训练Transformer应用于文本分类：实现高效文本处理的创新应用 引言 随着自然语言处理技术的快速发展,文本分类任务也逐渐成为了自然语言处理领域中的一个热门研究方向。文本分类问题是指根据给定的文本内容,将其分类到预定义的类别中。本文将介绍一种基于生 ......
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个 ......
AI_Pytorch_Transformer
###基本概念 self-attention最经典的公式 q：query，用来匹配其他单元 k：key，用来被其他单元匹配 v：value，需要被提取的信息 位置编码positon 绝对位置信息：每个词的embedding向量内部顺序 相对位置信息：每个词和每个词之间的顺序（作用于自注意力机制） 目 ......
Bertviz: 在Transformer模型中可视化注意力的工具（BERT，GPT-2，Albert，XLNet，RoBERTa，CTRL，etc.)
BertViz BertViz是一个在Transformer模型中可视化注意力的工具，支持transformers库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。它扩展了Llion Jones的Tensor2Tensor可视化工具和HuggingFace的tr ......