526互联

transformation customising identity claims

如何成功将 API 客户的 transformer 模型推理速度加快 100 倍

🤗 Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型，支持 250 多种语言，任君取用。无论你使用哪种框架，都能用得上它。 虽然在 🤗 Transformers 中试验模型很容易，但以最高性能 ......
transformer 模型 速度 客户 API

RWKV解读：在Transformer的时代的新RNN

转载地址：https://zhuanlan.zhihu.com/p/656323242 作者：徐传飞 在Transformer时代，介绍一个非Transformer架构的新网络——RWKV，RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训 ......
Transformer 时代 RWKV RNN

一个简单的 Python 实现希尔伯特-黄变换（Hilbert-Huang Transform，简称HHT）的例子

import numpy as np from scipy.signal import argrelextrema def emd(data): """ 经验模式分解（Empirical Mode Decomposition，EMD） """ # 找到极值点 max_points, min_poin ......
Hilbert-Huang Transform 例子 Hilbert Python

为什么基于transformer的序列分类不用decoder模块？

Transformer原本是为机器翻译设计的编码-解码(Encoder-Decoder)结构。在序列分类任务中,主要利用的是Transformer的Encoder模块来获取输入序列的特征表示,而不需要Decoder模块,主要有以下原因: 解码模块主要用来生成目标序列,而分类任务只需要判别整个源序列的 ......
序列 transformer 模块 不用 decoder

【学习笔记】Transformer

在看Transformer之前，建议先学习一下Self-attention。 同样，这边笔记是参考李宏毅老师的课程和ppt，感兴趣的可以去看原视频~ Sequence-to-Sequence 没错！Transformer是一个sequence-to-sequence (Seq2Seq) 的模型，也就 ......
Transformer 笔记

RetNet：万众期待的 Transformers 杀手

动动发财的小手，点个赞吧！ Transformer 已成为大语言模型上的架构，因为它有效地克服了循环神经网络 (RNN) 的顺序训练问题。然而，Transformer也并不完美，因为它们仅解决了所谓“impossible triangle”的两条臂。微软的 RetNet 声称位于这个“impossi ......
万众 Transformers 杀手 RetNet

Transformer-empowered Multi-scale Contextual Matching and Aggregation for

Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution（阅读文献）10.12 基于变压器的磁共振多对比度超分辨率多尺度背景匹配与聚合 摘 ......
Transformer-empowered Transformer Multi-scale Aggregation Contextual

Swin Transformer

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows使用移动窗口的分层视觉转换器阅读笔记 摘要：提出Swin Transformer,作为计算机视觉的通用主干网络。将Transformer应用到是视觉领域的挑战 ......
Transformer Swin

大模型与KG（二）——Transformer/Bert/GPT用于图学习

目录句法图学习《Graph Transformer for Graph-to-Sequence Learning》《Heterogeneous Graph Transformer for Graph-to-Sequence Learning》同质图学习《Do Transformers Really ......
Transformer 模型 Bert GPT

TensorFlow PyTorch Transformer --GPT

你是机器学习专家，请为我解答如下疑问： tensorflow，pytorch分别是什么？他们跟numpy的区别是什么？什么是深度学习，深度学习框架中的框架指的是什么？什么是机器学习，什么是transformer?transformer和tensorflow,pytorch的关系是什么？ ChatGP ......
Transformer TensorFlow PyTorch GPT

《White-Box Transformers via Sparse Rate Reduction》论文学习

一、Introduction 近年来，深度学习在处理大量高维多模态数据方面取得了巨大的实证成功。其中很大一部分成功归功于对数据分布的有效学习，然后将分布转化为简洁的结构化和紧凑的表示形式，这有助于许多下游任务（例如视觉、分类、识别和分割以及生成。为此，已提出和实践了许多模型和方法，每种方法都有其优点 ......
Transformers White-Box Reduction Sparse 论文

谁将取代 transformer；PPT 开发者去世；ChatGPT 访问量连续三个月下降丨 RTE开发者日报 Vol.46

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。 我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家 ......
开发者 transformer 访问量 三个 ChatGPT

String Transformation

String Transformation You are given two strings s and t of equal length n. You can perform the following operation on the string s: Remove a suffix of ......
Transformation String

Nougat：一种用于科学文档OCR的Transformer 模型

随着人工智能领域的不断进步，其子领域，包括自然语言处理，自然语言生成，计算机视觉等，由于其广泛的用例而迅速获得了大量的普及。光学字符识别(OCR)是计算机视觉中一个成熟且被广泛研究的领域。它有许多用途，如文档数字化、手写识别和场景文本识别。数学表达式的识别是OCR在学术研究中受到广泛关注的一个领域。 ......
Transformer 模型 文档 科学 Nougat

听我说，Transformer它就是个支持向量机

前言 SVM is all you need，支持向量机永不过时。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基 ......
向量 Transformer 就是

Spikformer: When Spiking Neural Network Meets Transformer

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2023（同大组工作） ABSTRACT 我们考虑了两种生物学合理的结构，脉冲神经网络（SNN）和自注意机制。前者为深度学习提供了一种节能且事件驱动的范式，而 ......
Transformer Spikformer Network Spiking Neural

ViTPose+：迈向通用身体姿态估计的视觉Transformer基础模型

京东探索研究院联合悉尼大学在这方面做出了探索，提出了基于简单视觉transformer的姿态估计模型ViTPose和改进版本ViTPose+。ViTPose系列模型在MS COCO多个人体姿态估计数据集上达到了新的SOTA和帕累托前沿。 ......
Transformer 姿态 模型 视觉 身体

【论文阅读】CAT: Cross Attention in Vision Transformer

论文地址：[2106.05786] CAT: Cross Attention in Vision Transformer (arxiv.org) 项目地址：https://github.com/linhezheng19/CAT 一、Abstract 由于Transformer在NLP中得到了广泛的应 ......
Transformer Attention Vision 论文 Cross

CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。 CMT:体系结构 CMT块由一个局部感知单元(LPU)、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN ......
卷积 Transformers CMT

Swin-Transformer 源码学习与使用手册

拜读了VIT以及TNT以及Swin-Transformer 的论文，结合B站up主的分析， 预感Swin-Transformer具有ResNet似的跨里程碑式的意义， 因此学习Swin-Transformer源码及其使用，记录如下。 Run Swin-Tpython -m torch.distrib ......
Swin-Transformer Transformer 源码 手册 Swin

ICML 2023 | 神经网络大还是小？Transformer模型规模对训练目标的影响

前言 本文研究了 Transformer 类模型结构（configration）设计（即模型深度和宽度）与训练目标之间的关系。结论是：token 级的训练目标（如 masked token prediction）相对更适合扩展更深层的模型，而 sequence 级的训练目标（如语句分类）则相对不适合 ......
神经网络 Transformer 模型 神经 规模

【ICML2022】Understanding The Robustness in Vision Transformers

来自NUS&NVIDIA 文章地址：[2204.12451] Understanding The Robustness in Vision Transformers (arxiv.org) 项目地址：https://github.com/NVlabs/FAN 一、Motivation CNN使用滑动 ......
Understanding Transformers Robustness Vision ICML

Proj CDeepFuzz Paper Reading: Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness

## Abstract 本文： Task: 1. prove invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations 2. prove that ......
Invariance-inducing transformations regularization Invariance robustness

Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer

[TOC] > [Fan Z., Liu Z., Zhang J., Xiong Y., Zheng L. and Yu P. S. Continuous-time sequential recommendation with temporal graph collaborative transfo ......
Continuous-Time Recommendation Collaborative Transformer Continuous

transformer解读-更新中

Transformer是一种基于注意力机制的深度学习架构，专门用于处理序列数据，尤其在自然语言处理领域取得了重大突破。它由Google于2017年首次提出，并在各种NLP任务中表现出色，如机器翻译、文本生成和情感分析。 主要特点包括： 自注意力机制：Transformer的核心是自注意力（Self- ......
transformer

NLP原理系列1-说清楚transformer原理

NLP原理系列1-说清楚transformer原理 来用思维导图和截图描述。 思维导图的本质是 变化(解决问题)-> 更好的， 或者复杂问题拆分为小问题 以及拆分的思路。 参考链接：李宏毅 transformer原理。 一 tansformer的推理及训练过程 1 tf 训练过程 红框部分是 训练得 ......
原理 transformer NLP

Transformer速查宝典：模型、架构、训练方法的论文都在这里了

前言 论文大合集，一篇文章就搞定。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
Transformer 架构 宝典 模型 方法

带你上手基于Pytorch和Transformers的中文NLP训练框架

基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ......
Transformers 框架 Pytorch NLP

聊聊HuggingFace Transformer

## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config ......
HuggingFace Transformer

GPT之路(四) 神经网络架构Transformer工作原理

原文：What Are Transformer Models and How Do They Work? Transformer模型是机器学习中最令人兴奋的新发展之一。它们在论文Attention is All You Need中被介绍。Transformer可以用于写故事、文章、诗歌，回答问题，翻 ......
神经网络 Transformer 架构 神经 原理
共452篇  :6/16页 首页上一页6下一页尾页