526互联

transformers end-to-end end detection

编码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 编码 解码器 Transformers 模型

[重读经典论文] RetinaNet——Focal Loss for Dense Object Detection

1. 前言这篇论文也是何凯明的团队在2017年的论文《Focal Loss for Dense Object Detection》中提出的，网络架构魔改了FPN，因此这篇论文的重点是提出了新的分类Loss——Focal Loss，用一个合适的函数，去度量难分类和易分类样本对总的损失函数的贡献。解决了 ......
mdash RetinaNet Detection amp 经典

transformer预测ENSO(Sci.Adv.,2023-3-8)

预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
transformer ENSO 2023 Adv Sci

Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2

前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
Transformer GPT 结构 MT-DNN BERT

02.transformer

transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
transformer 02

大模型核心技术原理: Transformer架构详解

在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Transformer 架构 模型 原理 核心

Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记

## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......
Class Class-Incremental Distillation Segmentation Incrementer

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Tr ......
Transformers 模型 Hugging 语言 排行榜

transformers入门使用

# transformers入门使用 HuggingFace是一个开源社区，它提供了先进的NLP模型，数据集，以及其他工具。 模型：https://huggingface.co/models 数据集：https://huggingface.co/datasets 主要的模型 - 自然回归： `GPT ......
transformers

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
编码器 解码器 编码 Transformers 模型

Deep Isolation Forest for Anomaly Detection

# Deep Isolation Forest for Anomaly Detection ## 1 INTRODUCTION IForest的缺点 - 它的与坐标轴平行的隔离方法会导致它在高维/非线性空间中难以检测到异常。 如图1所示。红色为异常节点，蓝色为正常节点。红色被蓝色所包围，这种情况无法 ......
Isolation Detection Anomaly Forest Deep

背景 | 基于 Transformers 的编码器-解码器模型

```bash !pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 ``` Vaswani 等人在其名作 [Attention is all you need](https://arxiv.org/abs/1706. ......
编码器 解码器 Transformers 模型 编码

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 [Attention Is All ......
transformer RWKV RNN

翻译-Automatic detection of Long Method and God Class code smells through neural source code embeddings

# Automatic detection of Long Method and God Class code smells through neural source code embeddings 通过神经源代码嵌入自动检测 Long Method 和 God Class 代码异味 Aleksa ......
code embeddings Automatic detection through

比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤

前言 本文介绍了vanilla KD方法，它在ImageNet数据集上刷新了多个模型的精度记录。 本文转载自新智元 作者 | Joey 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
决算 Transformer Megabyte 模型 全新

React使用redux报错：A non-serializable value was detected in an action...

原因：数据无法序列化，报错了 方法：在store.ts中，关闭序列化检测 middleware: (getDefaultMiddleware) => getDefaultMiddleware({ serializableCheck: false }) 有问题欢迎交流，谢谢！ ......
non-serializable serializable detected action React

End-to-End Object Detection with Transformers论文阅读笔记

## 摘要 作者提出了一种新的基于Transformer的目标检测模型DETR，将检测视为集合预测问题，无需进行nms以及anchor generation等操作。同时，对模型进行简单的修改就可以应用到全景分割任务中。 ## 方法 ### Object detection set predictio ......
Transformers End-to-End End Detection 笔记

Django - makemigrations - No changes detected

Django - makemigrations - No changes detected 回答1 To create initial migrations for an app, run makemigrations and specify the app name. The migrations ......
makemigrations detected changes Django No

ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册

前言 本文介绍一下最近被 ICML 2023 接收的文章：A Closer Look at Self-Supervised Lightweight Vision Transformers.文章聚焦在轻量级 ViT 的预训练上，相当于为相关方向的研究提供了一个 benchmark，相关的代码与模型也都 ......
轻量 轻量级 Transformer 视觉 手册

CF280E - Sequence Transformation

给定一个不降整数序列 $1\le x_1\le x_2\le \cdots\le x_n\le q$，请构造一个实数序列 $y$ 满足 $y_i\in [1,q]$，$y_i-y_{i-1}\in[a,b]$，且最小化 $\sum (y_i-x_i)^2$，保证有解。 #### 利用凸函数性质维护导 ......
Transformation Sequence 280E 280 CF

[HTML 5] Detect visualViewport change

On mobile device, when you open / close the keyboard, zoom in / out, it might affect the visual viewport view (the actual page content); to detect cha ......
visualViewport Detect change HTML

Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers概述

0.前言 相关资料： arxiv github 论文解读 论文基本信息： 领域：弱监督语义分割 发表时间： CVPR 2022(2022.3.5) 1.针对的问题 目前主流的弱监督语义分割方法通常首先训练分类模型，基于类别激活图（CAM）或其变种生成初始伪标签；然后对伪标签进行细化作为监督信息训练一 ......
Weakly-Supervised Segmentation Transformers End-to-End Supervised

【研究生学习】Transformer模型以及Pytorch实现

Transformer是Google在2017年提出的网络架构，仅依赖于注意力机制就可以处理序列数据，从而可以不使用RNN或CNN。当前非常热门的BERT模型就是基于Transformer构建的，本篇博客将介绍Transformer的基本原理，以及其在Pytorch上的实现。 ......
Transformer 模型 研究生 Pytorch

加餐-基于Transformer实现中译英（tf2.x）

# 1.项目概述 > 本实例使用Transformer这个强大的特征提取工具，把英文翻译成中文。具体步骤先构建Transorformer架构，然后训练模型、评估模型，最后使用几个英文语句测试模型效果。 > > 为便于训练，这里训练数据仅使用使用TensorFlow2上的wmt19_translate ......
中译英 Transformer tf2 tf

Peripheral Instance Augmentation for End-to-End

Peripheral Instance Augmentation for End-to-End Anomaly Detection Using Weighted Adversarial Learning abstract 对边缘样本的实例学习不足，可能会导致较高的假阳性 提出方法用少量样本来指导对抗 ......
Augmentation Peripheral End-to-End End Instance

Do Transformers Really Perform Badly for Graph Representation

Ying C., Cai T., Luo S., Zheng S., Ke D., Shen Y. and Liu T. Do transformers really perform badly for graph representation? NIPS, 2021. 概 本文提出了一种基于图的 ......
Representation Transformers Perform Really Badly

免注意力Transformer (AFT)：使用逐元素乘积而不是点积

注意力机制作为现代深度学习模型的基石，能够毫不费力地对长期依赖进行建模，并关注输入序列中的相关信息。然而，需要点积自注意力 - 广泛使用在Transformer架构中的一个关键组件 - 已被证明在序列长度方面具有二次空间复杂度，因此不适用于处理长输入。在本文中，我们介绍了Attention Free ......
乘积 Transformer 注意力 元素 AFT

在 Transformers 中使用对比搜索生成可媲美人类水平的文本 🤗

1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法的论文 “A Contrastive Framework for Neural Text Gener ......
Transformers 文本 人类 水平 129303

什么是 Angular 的 banana-in-a-box detection 机制

"banana-in-a-box detection" 是一个 Angular 表单绑定的术语。在 Angular 应用中，表单绑定通常采用“双向绑定”的方式，即使用 [(ngModel)] 或 [(value)] 等语法实现数据的双向绑定。其中，"banana-in-a-box" 表示 [( )] ......
banana-in-a-box detection 机制 Angular banana

Transformer 模型中的positional encoding(位置编码)计算理解(2)

以下（以上）内容来自(参考): https://www.bilibili.com/video/BV1Di4y1c7Zm?p=2&vd_source=6292df769fba3b00eb2ff1859b99d79e import numpy as np def getPositionEncoding( ......
Transformer positional encoding 模型 编码
共550篇  :14/19页 首页上一页14下一页尾页