526互联

attention rnn

RNN/LSTM/GRU

RNN模型： 激活函数采用tanh() LSTM（长短期记忆网络） LSTM通过增加三个门，激活函数sigmoid输出0到1之间的数值，0表示不允许通过，1表示允许通过。 通过门来增加前后序列间的关联关系。 输入门、输出门、遗忘门（长记忆、短记忆） GRU（Gated Recurrent Unit, ......
LSTM RNN GRU

Attention

``` #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #i ......
Attention

RNN，LSTM，ResNet

神经网络的梯度更新 反向传播算法：神经网络中加速计算参数梯度值的方法 梯度下降算法 -> 随机梯度下降、动量随机梯度 凸优化： 几何意义，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集 BN训练测试： BN本质上是解决传播过程中的梯度消失问题 ......
ResNet LSTM RNN

Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测|附代码数据

全文下载链接： http://tecdat.cn/?p=27042 最近我们被客户要求撰写关于新冠疫情的研究报告，包括一些图形和统计输出。 在本文中，该数据根据世界各国提供的新病例数据提供。 获取时间序列数据 df=pd.read_csv("C://global.csv") 探索数据 此表中的数据以 ......
时间序列 神经网络 疫情 序列 神经

SIAMHAN:IPv6 Address Correlation Attacks on TLS E ncrypted Trafic via Siamese Heterogeneous Graph Attention Network解读

1. Address 论文来自于USENIX Security Symposium 2021 2. Paper summary 与ipv4地址采用nat掩盖不同，ipv6地址更加容易关联到用户活动上，从而泄露隐私。但现在已经有解决隐私担忧的方法被部署，导致现有的方法不再可靠。这篇文章发现尽管在有防护 ......
Heterogeneous Correlation Attention ncrypted SIAMHAN

Attention机制竟有bug？Softmax是罪魁祸首，影响所有Transformer

前言 「大模型开发者，你们错了。」 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
罪魁 祸首 罪魁祸首 Transformer Attention

Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性|附代码数据

全文下载链接：http://tecdat.cn/?p=26562 最近我们被客户要求撰写关于循环神经网络的研究报告，包括一些图形和统计输出。 自 2000 年 1 月以来的股票价格数据。我们使用的是 Microsoft 股票。 该项目包括： 将时间序列数据转换为分类问题。 使用 TensorFlow ......
神经网络 神经 时间序列 网络 序列

【d2l】【困难代码】【2】 output, state = self.rnn(X_and_context, state)

## 问题来源 【d2l】9.7 序列到序列学习 ![image](https://img2023.cnblogs.com/blog/3240132/202307/3240132-20230728143550788-834842676.png) ![image](https://img2023.cn ......
state X_and_context context 代码 output

【d2l 问题记录】【1】 视频55 从零实现rnn

![image](https://img2023.cnblogs.com/blog/3240132/202307/3240132-20230725102137947-856015834.png) ```python H, = state ``` 这句代码我真是看懵逼了。 ## 1 元组的打包和解包 ......
问题 视频 d2l rnn d2

自注意机制和RNN

self attention（自注意机制） 输入：以往神经网络的输入都是一个向量；如果现在输入的是一排向量，并且数量不唯一，应该如何处理： 例一：一句英文 One-hot Encoding：开一个长度为世界上全部词汇数的向量表示一个词汇（缺点：词汇间没关系） Word Embedding：给每个词汇 ......
机制 RNN

斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升

前言 FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技 ......
上下文 显存 史诗 FlashAttention Transformer

self-attention

Self attention考虑了整个sequence的资讯【transfermer中重要的架构是self-attention】 解决sequence2sequence的问题，考虑前后文 I saw a saw 第一个saw对应输出动词 第二个输出名词 如何计算相关性【attention score ......
self-attention attention self

从RNN到Transformer

## 1. RNN 循环神经网络的内容可参考https://www.youtube.com/watch?v=UNmqTiOnRfg。 RNN建模的对象是具有时间上前后依赖关系的对象。以youtube上的这个视频为例，一个厨师如果只根据天气来决定今天他做什么菜，那么就是一个普通的神经网络；但如果他第i ......
Transformer RNN

seq2seq+attention的个人理解

[toc] ## RNN 经典的RNN结构： ![image](https://img2023.cnblogs.com/blog/2560090/202307/2560090-20230714165034348-527906121.png) 这是经典的RNN结构，输入向量是： ![image](ht ......
seq attention seq2seq 个人 2seq

MEANTIME Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation

[TOC] > [Cho S., Park E. and Yoo S. MEANTIME: Mixture of attention mechanisms with multi-temporal embeddings for sequential recommendation. RecSys, 20 ......
Multi-temporal Recommendation Embeddings Mechanisms Sequential

LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias 论文阅读

# LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias 论文阅读 KDD 2023 [原文地址](https://arxiv.org/abs/2307.02912) ## Introd ......
Robustness Similarity Improving Attention Sentence

【论文阅读】CrossViT：Cross-Attention Multi-Scale Vision Transformer for Image Classification

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：23.7.10 > - ⏰最近更新时间：23.7.10 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有 ......
Cross-Attention Classification Multi-Scale Transformer Attention

Multi-Modal Attention Network Learning for Semantic Source Code Retrieval 解读

# Multi-Modal Attention Network Learning for Semantic Source Code Retrieva Multi-Modal Attention Network Learning for Semantic Source Code Retrieval，题 ......
Multi-Modal Attention Retrieval Learning Semantic

【论文阅读】CrossFormer: A Versatile Vision Transformer Based on Cross-scale Attention

来自CVPR 2021 论文地址：https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2108.00154.pdf 代码地址：https://link.zhihu.com/?target=https%3A//github.com/cheers ......
CrossFormer Cross-scale Transformer Attention Versatile

4.3 Recurrent Neural Network (RNN) II

# 1. RNN 怎么学习 ## 1.1 Loss Function 如果要做learning的话,你要定义一个cost function来evaluate你的model是好还是不好,选一个parameter要让你的loss 最小.那在Recurrent Neural Network里面,你会怎么定 ......
Recurrent Network Neural 4.3 RNN

2023CVPRW_Self-Paced Semi-Curricular Attention Network for Non-Homogeneous Image Dehazing(SCANet) 课程学习策略

1. ......
课程学习 CVPRW_Self-Paced Non-Homogeneous Semi-Curricular Homogeneous

4.1 Self-attention

# 1. 问题引入 我们在之前的课程里遇到的都是输入是一个向量,输出是类别或者标量.但如果输入是向量的集合且向量长度还会变化,又应该怎么处理呢? ![image](https://img2023.cnblogs.com/blog/2264614/202307/2264614-202307021649 ......
Self-attention attention Self 4.1

什么是 Kernel Smoother ？它与 Self Attention 有什么关系？

[1] **带权滑动平均（Weighted Moving Average, WMA）** 是标量场上的滑动窗口内的加权平均，数学上等价于卷积。[^WMA] [2] **Kernel Smoother** 是一种特殊的 WMA 方法，特殊在于权重是由**核函数**决定的，相互之间越接近的点具有越高的权 ......
Attention Smoother Kernel Self

Attention is All you need

转载：https://zhuanlan.zhihu.com/p/46990010 Attention机制最早在视觉领域提出，2014年Google Mind发表了《Recurrent Models of Visual Attention》，使Attention机制流行起来，这篇论文采用了RNN模型， ......
Attention need All you is

TensorFlow11.5 循环神经网络RNN-LSTM、LSTM实战

# LSTM的产生 我们之前在求RNN的loss的时候很容易出现梯度弥散或者梯度爆炸。这个LSTM的出现很大程度上减少了梯度弥散的情况。 ![image](https://img2023.cnblogs.com/blog/1914163/202306/1914163-2023062520565564 ......
神经网络 LSTM TensorFlow 实战 RNN-LSTM

TensorFlow11.3 循环神经网络RNN-情感分类实战

这个就是好评和差评的一个分类。 这个输入一般$h_0$全为0. ![image](https://img2023.cnblogs.com/blog/1914163/202306/1914163-20230625100457366-459604194.png) 要想实现这个结构有两种方案： Simpl ......
神经网络 TensorFlow 实战 神经 情感

TensorFlow11.2 循环神经网络RNN-循环神经网络、RNN-layer实现

# 循环神经网络 Sentiment Analysis（情感分析） ![image](https://img2023.cnblogs.com/blog/1914163/202306/1914163-20230625094505280-973392251.png) 类似于淘宝的好评还是差评，我们比较直 ......
神经网络 神经 网络 TensorFlow RNN

TensorFlow11.1 循环神经网络RNN01-序列表达方法

在自然界中除了位置相关的信息（图片）以外，还用一种存在非常广泛的类型，就是时间轴上的数据，比如说序列信号，语音信号，聊天文字。就是有先后顺序。 对于下面这个： 不如说我们输入有10个句子，每个句子都有4个单词，然后我们怎么把这些句子转化为具体的数值呢。如果一个表示方法能够很好的表示这个单词的特性的话 ......
神经网络 序列 TensorFlow 神经 方法

Self-attention with Functional Time Representation Learning

[TOC] > [Xu D., Ruan C., Kumar S., Korpeoglu E. and Achan K. Self-attention with functional time representation learning. NIPS, 2019.](http://arxiv.or ......
Self-attention Representation Functional attention Learning

Time Interval Aware Self-Attention for Sequential Recommendation

[TOC] > [Li J., Wang Y., McAuley J. Time interval aware self-attention for sequential recommendation. WSDM, 2020.](https://dl.acm.org/doi/10.1145/3336 ......
Self-Attention Recommendation Sequential Attention Interval
共143篇  :3/5页 首页上一页3下一页尾页