transformers end-to-end end detection
Bertviz: 在Transformer模型中可视化注意力的工具（BERT，GPT-2，Albert，XLNet，RoBERTa，CTRL，etc.)
BertViz BertViz是一个在Transformer模型中可视化注意力的工具，支持transformers库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。它扩展了Llion Jones的Tensor2Tensor可视化工具和HuggingFace的tr ......
Bert Pytorch 源码分析：三、Transformer块
```py # PFF 层，基本相当于两个全连接 # 每个 TF 块中位于注意力层之后 class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dro ......
css3缩放 transform: scale() 使用缩放之后顶点对齐问题
css3缩放 transform: scale() 使用缩放之后顶点对齐问题 注意点：想要将缩放之后的div对齐顶点，那么需要将css属性设置为：transform-origin: 0 0 <div style="width: 900px; height: 900px; background: gr ......
《Transformer Quality in Linear Time》论文解读
会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数学表达式如下：T ......
深度学习中的循环神经网络”在Transformer中的应用
[toc] 深度学习中的“循环神经网络”在Transformer中的应用 背景介绍 深度学习在人工智能领域的应用已经取得了巨大的成功，尤其是在自然语言处理和计算机视觉领域。其中Transformer模型是近年来深度学习领域的一项重要研究成果，它是基于自注意力机制的深度神经网络模型，能够有效地提高模型 ......
解决git出现fatal: detected dubious ownership in repository at XXXXX的错误
在window环境下，使用git命令时报错fatal: detected dubious ownership in repository at XXXXXX，图片如下 解决方法如下 添加一行代码 git config --global --add safe.directory "*"; ......
【环境部署】SPECTER模型-基于transformer的科学出版物
## 论文背景 **标题：**SPECTER: Document-level Representation Learning using Citation-informed Transformers **摘要：**表示学习是自然语言处理系统的关键组成部分。像BERT这样的最新Transformer语 ......
Probabilistic and Geometric Depth: Detecting Objects in Perspective(1)
作者认为单目3D目标检测可以简化为深度估计问题,深度估计不准确限制了检测的性能.已有的算法直接使用孤立实例或者像素估计深度,没有考虑目标之间的集合关系,因此提出了构建预测的目标之间的几何关系图,来促进深度预测. 将深度值划分成若干个区间,然后通过分布的期望来计算深度值,在精度和速度上都取得了不错的性 ......
transformers库的使用【一】——pipeline的简单使用
transformers库的使用使用pipeline API来快速使用一些预训练模型 使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务： 1、情感分析（Sentment analysis）：分析文本是正面的还是负面的2、文本生成（in English）： ......
Huggingface Transformers库学习笔记（一）：入门（Get started）
前言 Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常 ......
sentence-transformers(SBert)中文文本相似度预测(附代码)
sentence-transformers(SBert)中文文本相似度预测(附代码) https://blog.csdn.net/weixin_54218079/article/details/128687878 https://gitee.com/liheng103/sbert-evaluate ......
使用poi时报错：java.io.EOFException: Unexpected end of ZLIB input stream
原文： 点击查看代码 ``` File excelFile = new File(filePath); try { if (excelFile.exists()) { wb = new SXSSFWorkbook(new XSSFWorkbook(excelFile), 1000,true); } ......
解决因transform适配导致ceiusm点击事件不准的问题
因为项目是vue项目，所以改动时候需要改下面路径的文件 \node_modules\cesium\Source\Core\ScreenSpaceEventHandler.js然后修改里面的这个方法（下图） function getPosition(screenSpaceEventHandler, e ......
Transformers/SpaCy安装在Android手机(Termux)的Python开发环境
0. 安装Rust(Python库safetensors依赖Rust环境): $ rm -rf ~/.cargo #删除所有Rust残余旧版本 $ pkg install rust #最好安装完退出Termux所有Sessions $ mkdir -p ~/.cargo #重建rust的用户配置目录 ......
vue学习第16天 CSS---3D转换 （translate3d 3d移动、3D旋转 rotate3d、transform-style 是否开启3d环境）
3D转换 转换： 1）3d移动 translate3d 2）3d旋转 rotate3d 3D的特点： 1）近大远小 2）物体后面遮挡不可见 3D转换：我们工作最常用的 3D位移 和 3D旋转 主要知识点： 1、三维坐标系 （z轴，z外(屏幕)+，z内（屏幕）-） 三维坐标系其实就是指立体空间，立体空 ......
vue学习第14天 移动Web开发 --- CSS3 2D转换 (transform) 移动、旋转、缩放
2D转换 转换 （transform）是CS53中具有颠覆性的特征之一，可I以实现元素的位移、旋转、缩放等效果，可以简单理解为变形 1）移动： translate 2）旋转：rotate 3）缩放：scale 1、二维坐标系（x右+，x左-）（y下+，y上-） 2D转换是改变标签在二维平面上的位置和 ......
图解transformer中的自注意力机制
本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。 注意力机制 在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。 假设有一个数据库，里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranat ......
ROS报错：warning：clock skew detected. Your build may be incomplete
### 问题原因： 主要原因是系统时钟错误了，即系统发现了晚于当前时间编译的文件，自然就无法编译。 ### 解决方法： 可以通过修改系统时间等方法解决，但是目前认为的最优解是把项目中的每个文件都touch一遍即可： ```bash find . -type f -exec touch {} \; ` ......
log4cpp Naming collision for 'ERROR' detected. Please read the FAQ for a workaround
log4cpp使用 http://log4cpp.sourceforge.net/ 编译时候遇到：Naming collision for 'ERROR' detected. Please read the FAQ for a workaround 解决方法：在包含log4cpp头文件之前增加宏定义 ......
Pycharm中print函数有end= 参数，控制台不打印输出
Pycharm中print函数有end= 参数，控制台不打印输出 for i in range(1, 256): # 寻找对称平方数 square = str(i*i) # 转为字符串 if square == square[::-1]: print(i, end='\t') 循环中 print函数 ......
三大特征提取器（RNN/CNN/Transformer）
三大特征提取器 - RNN、CNN和Transformer# 简介# 近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。 本文部分参考张俊林老师的文章《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CN ......
3.3 Spatial Transformer
# 1. Spatial Transformer Layer ## 1.1 CNN is not invariant to scaling and rotation (1) CNN并不能真正做到scaling和rotation. (2) 如下图所示,在通常情况下,左右两边的图片对于CNN来说是不一样 ......
transform (牛客多校) (双指针+二分+ 中位数妙用+前缀和相减维护)
题目大意: n 个商店在 一条直线上, 有一个xi 然后 有 ai 个商品 你可以把 商店的物品 移动到另一个商店, 代价为 : abs(xi-xj) 在代价不超过T的情况下 你可以选择一个商店来让 其他商店的物品都移到这个商店,问最多移动多少个物品 思路: 双指针维护一个最大的区间, 因为这个最大 ......
Git：解决报错：fatal: The remote end hung up unexpectedly
问题描述：Git在推送项目时报错：fatal: The remote end hung up unexpectedly。 问题原因：推送的文件太大。 解决方法： ### 1.修改设置git config文件的postBuffer的大小。（设置为500MB） ```sh $ git config -- ......
利用生成式预训练Transformer实现文本分类和命名实体识别
[toc] 利用生成式预训练Transformer实现文本分类和命名实体识别 随着人工智能技术的不断发展，文本分类和命名实体识别成为了人工智能领域的重要应用。在这些应用中，使用生成式预训练Transformer模型已经成为了一种流行的解决方案。本文将介绍如何利用生成式预训练Transformer实现 ......
Transformer算法的应用
[toc] Transformer 算法的应用 近年来，随着深度学习和自然语言处理领域的迅速发展，Transformer 算法成为了深度学习中最重要的算法之一。Transformer 算法是一种基于自注意力机制的深度神经网络模型，它在处理序列数据时具有极强的并行计算能力和出色的表现力。本文将详细介绍 ......
GPT生成式预训练Transformer架构应用实战
[toc] GPT生成式预训练Transformer架构应用实战 ## 1. 引言 人工智能在过去几年发展迅速，深度学习和Transformer架构成为了当前人工智能领域的热点。GPT生成式预训练Transformer架构是深度学习中的一种新型架构，可以更好地处理自然语言生成任务，因此受到了广泛关注 ......
利用生成式预训练Transformer实现智能问答与人机交互
[toc] 利用生成式预训练Transformer实现智能问答与人机交互 随着人工智能技术的不断发展，智能问答和人机交互已经成为了人工智能领域中的重要研究方向。在智能问答中，机器能够以自然的方式与人类进行对话，通过理解人类的问题，为其提供相关的答案。在人机交互中，机器能够与人类进行更加流畅和自然的交 ......
基于生成式预训练Transformer的跨语言文本摘要与情感分析
[toc] 标题：《基于生成式预训练Transformer的跨语言文本摘要与情感分析》 ## 1. 引言 随着人工智能技术的不断发展，跨语言文本摘要和情感分析成为了许多应用场景的重要需求。在这些应用中，文本摘要通常是为了简洁、准确地概述文本内容，而情感分析则是为了分析文本中的情感倾向。这些技术需要处 ......
生成式预训练Transformer：探索其在自然语言处理领域的最新应用
[toc] 生成式预训练Transformer：探索其在自然语言处理领域的最新应用 ## 1. 引言 自然语言处理 (NLP) 是一项具有巨大潜力的技术领域，近年来得到了广泛的关注和发展。其中，生成式预训练Transformer(GPT) 是一种先进的神经网络模型，被广泛应用于文本生成、机器翻译、语 ......