transformer
Bert Pytorch 源码分析：三、Transformer块
```py # PFF 层，基本相当于两个全连接 # 每个 TF 块中位于注意力层之后 class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dro ......
css3缩放 transform: scale() 使用缩放之后顶点对齐问题
css3缩放 transform: scale() 使用缩放之后顶点对齐问题 注意点：想要将缩放之后的div对齐顶点，那么需要将css属性设置为：transform-origin: 0 0 <div style="width: 900px; height: 900px; background: gr ......
《Transformer Quality in Linear Time》论文解读
会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数学表达式如下：T ......
深度学习中的循环神经网络”在Transformer中的应用
[toc] 深度学习中的“循环神经网络”在Transformer中的应用 背景介绍 深度学习在人工智能领域的应用已经取得了巨大的成功，尤其是在自然语言处理和计算机视觉领域。其中Transformer模型是近年来深度学习领域的一项重要研究成果，它是基于自注意力机制的深度神经网络模型，能够有效地提高模型 ......
【环境部署】SPECTER模型-基于transformer的科学出版物
## 论文背景 **标题：**SPECTER: Document-level Representation Learning using Citation-informed Transformers **摘要：**表示学习是自然语言处理系统的关键组成部分。像BERT这样的最新Transformer语 ......
transformers库的使用【一】——pipeline的简单使用
transformers库的使用使用pipeline API来快速使用一些预训练模型 使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务： 1、情感分析（Sentment analysis）：分析文本是正面的还是负面的2、文本生成（in English）： ......
Huggingface Transformers库学习笔记（一）：入门（Get started）
前言 Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常 ......
sentence-transformers(SBert)中文文本相似度预测(附代码)
sentence-transformers(SBert)中文文本相似度预测(附代码) https://blog.csdn.net/weixin_54218079/article/details/128687878 https://gitee.com/liheng103/sbert-evaluate ......
解决因transform适配导致ceiusm点击事件不准的问题
因为项目是vue项目，所以改动时候需要改下面路径的文件 \node_modules\cesium\Source\Core\ScreenSpaceEventHandler.js然后修改里面的这个方法（下图） function getPosition(screenSpaceEventHandler, e ......
Transformers/SpaCy安装在Android手机(Termux)的Python开发环境
0. 安装Rust(Python库safetensors依赖Rust环境): $ rm -rf ~/.cargo #删除所有Rust残余旧版本 $ pkg install rust #最好安装完退出Termux所有Sessions $ mkdir -p ~/.cargo #重建rust的用户配置目录 ......
vue学习第16天 CSS---3D转换 （translate3d 3d移动、3D旋转 rotate3d、transform-style 是否开启3d环境）
3D转换 转换： 1）3d移动 translate3d 2）3d旋转 rotate3d 3D的特点： 1）近大远小 2）物体后面遮挡不可见 3D转换：我们工作最常用的 3D位移 和 3D旋转 主要知识点： 1、三维坐标系 （z轴，z外(屏幕)+，z内（屏幕）-） 三维坐标系其实就是指立体空间，立体空 ......
vue学习第14天 移动Web开发 --- CSS3 2D转换 (transform) 移动、旋转、缩放
2D转换 转换 （transform）是CS53中具有颠覆性的特征之一，可I以实现元素的位移、旋转、缩放等效果，可以简单理解为变形 1）移动： translate 2）旋转：rotate 3）缩放：scale 1、二维坐标系（x右+，x左-）（y下+，y上-） 2D转换是改变标签在二维平面上的位置和 ......
图解transformer中的自注意力机制
本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。 注意力机制 在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。 假设有一个数据库，里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranat ......
三大特征提取器（RNN/CNN/Transformer）
三大特征提取器 - RNN、CNN和Transformer# 简介# 近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。 本文部分参考张俊林老师的文章《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CN ......
3.3 Spatial Transformer
# 1. Spatial Transformer Layer ## 1.1 CNN is not invariant to scaling and rotation (1) CNN并不能真正做到scaling和rotation. (2) 如下图所示,在通常情况下,左右两边的图片对于CNN来说是不一样 ......
transform (牛客多校) (双指针+二分+ 中位数妙用+前缀和相减维护)
题目大意: n 个商店在 一条直线上, 有一个xi 然后 有 ai 个商品 你可以把 商店的物品 移动到另一个商店, 代价为 : abs(xi-xj) 在代价不超过T的情况下 你可以选择一个商店来让 其他商店的物品都移到这个商店,问最多移动多少个物品 思路: 双指针维护一个最大的区间, 因为这个最大 ......
利用生成式预训练Transformer实现文本分类和命名实体识别
[toc] 利用生成式预训练Transformer实现文本分类和命名实体识别 随着人工智能技术的不断发展，文本分类和命名实体识别成为了人工智能领域的重要应用。在这些应用中，使用生成式预训练Transformer模型已经成为了一种流行的解决方案。本文将介绍如何利用生成式预训练Transformer实现 ......
Transformer算法的应用
[toc] Transformer 算法的应用 近年来，随着深度学习和自然语言处理领域的迅速发展，Transformer 算法成为了深度学习中最重要的算法之一。Transformer 算法是一种基于自注意力机制的深度神经网络模型，它在处理序列数据时具有极强的并行计算能力和出色的表现力。本文将详细介绍 ......
GPT生成式预训练Transformer架构应用实战
[toc] GPT生成式预训练Transformer架构应用实战 ## 1. 引言 人工智能在过去几年发展迅速，深度学习和Transformer架构成为了当前人工智能领域的热点。GPT生成式预训练Transformer架构是深度学习中的一种新型架构，可以更好地处理自然语言生成任务，因此受到了广泛关注 ......
利用生成式预训练Transformer实现智能问答与人机交互
[toc] 利用生成式预训练Transformer实现智能问答与人机交互 随着人工智能技术的不断发展，智能问答和人机交互已经成为了人工智能领域中的重要研究方向。在智能问答中，机器能够以自然的方式与人类进行对话，通过理解人类的问题，为其提供相关的答案。在人机交互中，机器能够与人类进行更加流畅和自然的交 ......
基于生成式预训练Transformer的跨语言文本摘要与情感分析
[toc] 标题：《基于生成式预训练Transformer的跨语言文本摘要与情感分析》 ## 1. 引言 随着人工智能技术的不断发展，跨语言文本摘要和情感分析成为了许多应用场景的重要需求。在这些应用中，文本摘要通常是为了简洁、准确地概述文本内容，而情感分析则是为了分析文本中的情感倾向。这些技术需要处 ......
生成式预训练Transformer：探索其在自然语言处理领域的最新应用
[toc] 生成式预训练Transformer：探索其在自然语言处理领域的最新应用 ## 1. 引言 自然语言处理 (NLP) 是一项具有巨大潜力的技术领域，近年来得到了广泛的关注和发展。其中，生成式预训练Transformer(GPT) 是一种先进的神经网络模型，被广泛应用于文本生成、机器翻译、语 ......
Transformer编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。下面是一些Trans
[toc] Transformer 编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。近年来，由于 Transformer 在自然语言处理领域的广泛应用，越来越多的研究者开始关注 Transformer 的改进与优化。本文将详细介绍 Transformer 编码器和解码器的原理、实 ......
Custom directive is missing corresponding SSR transform and will be ignored
## 背景 最近在给业务组件库集成指令库，将各个项目中常用的指令如一键复制、元素和弹窗拖拽等封装到一起，进行统一发版维护。 业务组件库项目架构采用的是pnpm+vite+vue3+vitepress，其中vitepress主要做组件库文档站点同时展示可交互的组件。 ## 问题 开发运行时指令库dem ......
transformers
sentence = "Hello, my son is cuting."input_ids_method1 = torch.tensor(tokenizer.encode(sentence, add_special_tokens=True)) # Batch size 1 //一次性进行分词和id ......
生成式预训练Transformer在机器翻译中的应用与挑战
[toc] 机器翻译是人工智能领域的重要应用之一，而生成式预训练Transformer(GPT)技术则是目前机器翻译领域的前沿之一。本文将介绍GPT技术的原理、实现步骤和应用场景，并探讨其在机器翻译中的挑战和发展趋势。 ## 1. 引言 机器翻译是一个重要的应用领域，因为翻译需要将一种语言的文字转化 ......
利用生成式预训练Transformer实现文本分类和命名实体识别
[toc] 利用生成式预训练Transformer实现文本分类和命名实体识别 随着人工智能技术的不断发展，文本分类和命名实体识别成为了人工智能领域的重要应用。在这些应用中，使用生成式预训练Transformer模型已经成为了一种流行的解决方案。本文将介绍如何利用生成式预训练Transformer实现 ......
Transformer算法的应用
[toc] Transformer 算法的应用 近年来，随着深度学习和自然语言处理领域的迅速发展，Transformer 算法成为了深度学习中最重要的算法之一。Transformer 算法是一种基于自注意力机制的深度神经网络模型，它在处理序列数据时具有极强的并行计算能力和出色的表现力。本文将详细介绍 ......
GPT生成式预训练Transformer架构应用实战
[toc] GPT生成式预训练Transformer架构应用实战 ## 1. 引言 人工智能在过去几年发展迅速，深度学习和Transformer架构成为了当前人工智能领域的热点。GPT生成式预训练Transformer架构是深度学习中的一种新型架构，可以更好地处理自然语言生成任务，因此受到了广泛关注 ......
利用生成式预训练Transformer实现智能问答与人机交互
[toc] 利用生成式预训练Transformer实现智能问答与人机交互 随着人工智能技术的不断发展，智能问答和人机交互已经成为了人工智能领域中的重要研究方向。在智能问答中，机器能够以自然的方式与人类进行对话，通过理解人类的问题，为其提供相关的答案。在人机交互中，机器能够与人类进行更加流畅和自然的交 ......