526互联

convolutions transformers introducing vision

可分离卷积(Separable Convolution)等价转换为传统卷积(Ordinary convolution)的方法,(等价转换，即最终处理效果一致)

写在前面： 可分离卷积提出的原因 卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable ......
卷积 等价 Convolution convolution Separable

Linux环境下sentence-transformers 之 all-MiniLM-L6-v2模型安装与使用

好记性不如烂笔头系列 一、背景： 1、之前使用chatgpt接口生成embeddings的向量维度为1536维，数据库中占用较大，所以找寻低维度的向量生成方法，减少数据占用 2、在huggingface上发现all-mpnet-base-v2及all-MiniLM-L6-v2两个模型不错，前者会生成 ......
sentence-transformers all-MiniLM-L transformers sentence 模型

Transformer的上下文学习能力是哪来的？

前言 有理论基础，我们就可以进行深度优化了。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 ......
上下文 学习能力 Transformer 上下 能力

Transformer详解

前言 在17年，自然语言处理领域还在被RNN统治，当时的seq2seq任务还是用带encoder-decoder结构的RNN。然而RNN天然具有一个缺点：计算效率低。 随后的transformer也是encoder-decoder结构，但是其中信息关联采用了attention机制，而不是RNN的循环 ......
Transformer

GPT——生成式预训练Transformer

GPT最近很火呀，那什么是GPT呢？ 机器学习领域有个很好的模型叫 Transformer注意力模型，然后在此基础上发展出了包括GPT、BERT、GPT2.0以及GPT3.0等等。其发展历程大概是： （1）2018年，OpenAI基于Transformer提出了GPT； （2）2018年，Googl ......
Transformer GPT

【NIPS2021】Focal Self-attention for Local-Global Interactions in Vision Transformers

来自微软（*^____^*） 论文地址：[2107.00641] Focal Self-attention for Local-Global Interactions in Vision Transformers (arxiv.org) 代码地址：microsoft/Focal-Transforme ......
Self-attention Local-Global Interactions Transformers attention

围绕 transformers 构建现代 NLP 开发环境

本文将从“样本处理”，“模型开发”，“实验管理”，“工具链及可视化“ 几个角度介绍基于 tranformers 库做的重新设计，并简单聊聊个人对“软件2.0”的看法。 ......
transformers 环境 NLP

如何成功将 API 客户的 transformer 模型推理速度加快 100 倍

🤗 Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型，支持 250 多种语言，任君取用。无论你使用哪种框架，都能用得上它。 虽然在 🤗 Transformers 中试验模型很容易，但以最高性能 ......
transformer 模型 速度 客户 API

RWKV解读：在Transformer的时代的新RNN

转载地址：https://zhuanlan.zhihu.com/p/656323242 作者：徐传飞 在Transformer时代，介绍一个非Transformer架构的新网络——RWKV，RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训 ......
Transformer 时代 RWKV RNN

一个简单的 Python 实现希尔伯特-黄变换（Hilbert-Huang Transform，简称HHT）的例子

import numpy as np from scipy.signal import argrelextrema def emd(data): """ 经验模式分解（Empirical Mode Decomposition，EMD） """ # 找到极值点 max_points, min_poin ......
Hilbert-Huang Transform 例子 Hilbert Python

为什么基于transformer的序列分类不用decoder模块？

Transformer原本是为机器翻译设计的编码-解码(Encoder-Decoder)结构。在序列分类任务中,主要利用的是Transformer的Encoder模块来获取输入序列的特征表示,而不需要Decoder模块,主要有以下原因: 解码模块主要用来生成目标序列,而分类任务只需要判别整个源序列的 ......
序列 transformer 模块 不用 decoder

【学习笔记】Transformer

在看Transformer之前，建议先学习一下Self-attention。 同样，这边笔记是参考李宏毅老师的课程和ppt，感兴趣的可以去看原视频~ Sequence-to-Sequence 没错！Transformer是一个sequence-to-sequence (Seq2Seq) 的模型，也就 ......
Transformer 笔记

RetNet：万众期待的 Transformers 杀手

动动发财的小手，点个赞吧！ Transformer 已成为大语言模型上的架构，因为它有效地克服了循环神经网络 (RNN) 的顺序训练问题。然而，Transformer也并不完美，因为它们仅解决了所谓“impossible triangle”的两条臂。微软的 RetNet 声称位于这个“impossi ......
万众 Transformers 杀手 RetNet

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE

（VGG）VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 阅读笔记（22.10.05） 摘要：本文研究在大规模图像识别设置中卷积网络深度对其准确性的影响。主要贡献是对使用（3，3）卷积核的体系结构增加深度的网络进行 ......
CONVOLUTIONAL NETWORKS LARGE VERY DEEP

VDSR-Accurate Image Super-Resolution Using Very Deep Convolutional Networks阅读笔记

Accurate Image Super-Resolution Using Very Deep Convolutional Networks（VDSR）阅读笔记（22.10.07）使用深度卷积网络的精确图像超分辨率 摘要：使用一个非常深的卷积神经网络，灵感来源于VGG-Net。本文发现，网络深度增加 ......
Super-Resolution VDSR-Accurate Convolutional Resolution Accurate

Transformer-empowered Multi-scale Contextual Matching and Aggregation for

Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution（阅读文献）10.12 基于变压器的磁共振多对比度超分辨率多尺度背景匹配与聚合 摘 ......
Transformer-empowered Transformer Multi-scale Aggregation Contextual

Swin Transformer

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows使用移动窗口的分层视觉转换器阅读笔记 摘要：提出Swin Transformer,作为计算机视觉的通用主干网络。将Transformer应用到是视觉领域的挑战 ......
Transformer Swin

大模型与KG（二）——Transformer/Bert/GPT用于图学习

目录句法图学习《Graph Transformer for Graph-to-Sequence Learning》《Heterogeneous Graph Transformer for Graph-to-Sequence Learning》同质图学习《Do Transformers Really ......
Transformer 模型 Bert GPT

TensorFlow PyTorch Transformer --GPT

你是机器学习专家，请为我解答如下疑问： tensorflow，pytorch分别是什么？他们跟numpy的区别是什么？什么是深度学习，深度学习框架中的框架指的是什么？什么是机器学习，什么是transformer?transformer和tensorflow,pytorch的关系是什么？ ChatGP ......
Transformer TensorFlow PyTorch GPT

《White-Box Transformers via Sparse Rate Reduction》论文学习

一、Introduction 近年来，深度学习在处理大量高维多模态数据方面取得了巨大的实证成功。其中很大一部分成功归功于对数据分布的有效学习，然后将分布转化为简洁的结构化和紧凑的表示形式，这有助于许多下游任务（例如视觉、分类、识别和分割以及生成。为此，已提出和实践了许多模型和方法，每种方法都有其优点 ......
Transformers White-Box Reduction Sparse 论文

谁将取代 transformer；PPT 开发者去世；ChatGPT 访问量连续三个月下降丨 RTE开发者日报 Vol.46

开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。 我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家 ......
开发者 transformer 访问量 三个 ChatGPT

String Transformation

String Transformation You are given two strings s and t of equal length n. You can perform the following operation on the string s: Remove a suffix of ......
Transformation String

Nougat：一种用于科学文档OCR的Transformer 模型

随着人工智能领域的不断进步，其子领域，包括自然语言处理，自然语言生成，计算机视觉等，由于其广泛的用例而迅速获得了大量的普及。光学字符识别(OCR)是计算机视觉中一个成熟且被广泛研究的领域。它有许多用途，如文档数字化、手写识别和场景文本识别。数学表达式的识别是OCR在学术研究中受到广泛关注的一个领域。 ......
Transformer 模型 文档 科学 Nougat

听我说，Transformer它就是个支持向量机

前言 SVM is all you need，支持向量机永不过时。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基 ......
向量 Transformer 就是

Proj CDeepFuzz Paper Reading: Software Testing with Large Language Model: Survey, Landscape, and Vision

## Abstract 本文: Task: Review on the use of LLMs in software testing Method: 1. analyzes 52 relevant studies ## 1. Intro ![](https://img2023.cnblogs.co ......
CDeepFuzz Landscape Language Software Reading

Spikformer: When Spiking Neural Network Meets Transformer

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2023（同大组工作） ABSTRACT 我们考虑了两种生物学合理的结构，脉冲神经网络（SNN）和自注意机制。前者为深度学习提供了一种节能且事件驱动的范式，而 ......
Transformer Spikformer Network Spiking Neural

ViTPose+：迈向通用身体姿态估计的视觉Transformer基础模型

京东探索研究院联合悉尼大学在这方面做出了探索，提出了基于简单视觉transformer的姿态估计模型ViTPose和改进版本ViTPose+。ViTPose系列模型在MS COCO多个人体姿态估计数据集上达到了新的SOTA和帕累托前沿。 ......
Transformer 姿态 模型 视觉 身体

【论文阅读】CAT: Cross Attention in Vision Transformer

论文地址：[2106.05786] CAT: Cross Attention in Vision Transformer (arxiv.org) 项目地址：https://github.com/linhezheng19/CAT 一、Abstract 由于Transformer在NLP中得到了广泛的应 ......
Transformer Attention Vision 论文 Cross

CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。 CMT:体系结构 CMT块由一个局部感知单元(LPU)、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN ......
卷积 Transformers CMT

Swin-Transformer 源码学习与使用手册

拜读了VIT以及TNT以及Swin-Transformer 的论文，结合B站up主的分析， 预感Swin-Transformer具有ResNet似的跨里程碑式的意义， 因此学习Swin-Transformer源码及其使用，记录如下。 Run Swin-Tpython -m torch.distrib ......
Swin-Transformer Transformer 源码 手册 Swin
共510篇  :7/17页 首页上一页7下一页尾页