attention rnn
Attention
参考：https://blog.csdn.net/weixin_52668444/article/details/115288690 传统的机器翻译为例子来说明为什么我们需要Attention。 encoder的工作原理和RNN类似，将词向量输入到Encoder中之后，我们将最后一个hidden s ......
LAS、CTC、RNA、RNN-T 等
这些都是大名鼎鼎的 seq2seq model。 本文可看作是台大李宏毅教授 DLHLP 课程的学习笔记，学习传送门：https://www.bilibili.com/video/BV12T411X7Nz/ 1 Listen，Attend and Spell（LAS） paper：https://a ......
Heterogeneous Graph Attention Network
Wang X., Ji H., Shi C., Wang B., Cui P., Yu P. and Ye Y. Heterogeneous graph attention network. WWW, 2019. 概 Attention + 异构图. 符号说明 $\mathcal{G} = (\ma ......
文献阅读《AcsiNet: Attention-Based Deep Learning Network for CSI Prediction in FDD MIMO Systems》
这篇文献的作者是南华大学的林文斌老师，于2023年3月3日发表在IEEE WIRELESS COMMUNICATIONS LETTERS。 文章直接对上行 CSI 矩阵使用离散傅里叶逆变换进行压缩，然后将其输入一个基于注意力（attention-based）的深度学习网络，该网络可以专注于关键的 C ......
Hugging News #0414: Attention 在多模态情景中的应用、Unity API 以及 Gradio 主题构建器
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ 社区动向 Attention ......
Attributed Graph Clustering |A Deep Attentional Embedding Approach
论文阅读01-Attributed Graph Clustering: A Deep Attentional Embedding Approach 1. 创新点idea Two-step的图嵌入方法不是目标导向的，聚类效果不好，提出一种基于目标导向的属性图聚类框架。 所谓目标导向，就是说特征提取和聚 ......
Transformer网络-Self-attention is all your need
一、Transformer Transformer最开始用于机器翻译任务，其架构是seq2seq的编码器解码器架构。其核心是自注意力机制： 每个输入都可以看到全局信息，从而缓解RNN的长期依赖问题。 输入： （待学习的）输入词嵌入 + 位置编码（相对位置） 编码器结构： 6层编码器： 一层编码器 = ......
Sequential Recommendation via Stochastic Self-Attention
Fan Z., Liu Z., Wang A., Nazari Z., Zheng L., Peng H. and Yu P. S. Sequential recommendation via stochastic self-attention. International World Wide W ......
基于卷积-长短期记忆网络加注意力机制（CNN-LSTM-Attention）的时间序列预测程序，预测精度很高。 可用于做风电功率预测，电力负荷预测等等
基于卷积-长短期记忆网络加注意力机制（CNN-LSTM-Attention）的时间序列预测程序，预测精度很高。 可用于做风电功率预测，电力负荷预测等等 标记注释清楚，可直接换数据运行。 代码实现训练与测试精度分析。YID:5860673742612391 ......
RNN（循环神经网络）
1.递归神经网络的历史版本 递归神经网络有两种类型：Jordan network和Elman network;现在常用的RNN(包括LSTM、GRU等)都是使用Elman network。 Elman network是在Jordan network的基础上进行了创新，并且简化了它的结构。 它们之间的 ......
循环神经网络 - RNN
在上一篇文章中，介绍了卷积神经网络（CNN），CNN在图像识别中有着强大、广泛的应用，但有一些场景用CNN却无法得到有效地解决，例如： 语音识别，要按顺序处理每一帧的声音信息，有些结果需要根据上下文进行识别； 自然语言处理，要依次读取各个单词，识别某段文字的语义； 这些场景都有一个特点，就是都与时间 ......
attention
attention机制 attention的核心逻辑类似人类观察图片的逻辑，当人类观察一张陌生的图片时，并没有完全看清整个图片，而是把注意力集中到了图片焦点上。所以attention的逻辑就是从关注全部到关注重点。 人类的视觉系统就是一种attention机制，将有限的注意力集中在重点信息上，从而节 ......
深度学习| 循环神经网络RNN与应用
循环神经网络 1. 场景与多种应用 模仿论文（生成序列） 模型Linux内核代码“写程序” （生成序列） 模仿小四的作品（生成文本序列） 机器翻译 Image to text/ 看图说话 我们知道神经网络结构如下： 那循环神经网络和它是什么关系呢？ 循环神经网络 为什么有BP神经网络，CNN，还要R ......
基于卷积-长短期记忆网络加注意力机制（CNN-LSTM-Attention）的时间序列预测程序
基于卷积-长短期记忆网络加注意力机制（CNN-LSTM-Attention）的时间序列预测程序，预测精度很高。 可用于做风电功率预测，电力负荷预测等等 标记注释清楚，可直接换数据运行。 代码实现训练与测试精度分析。YID:5860673742612391 ......
《Spectral–Spatial Morphological Attention Transformer for Hyperspectral Image Classification》论文笔记
论文作者：Swalpa Kumar Roy， Ankur Deria， Chiranjibi Shah， et al. 论文发表年份：2023 模型简称：morphFormer 发表期刊：IEEE Transactions on Geoscience and Remote Sensing 论文代码： ......
attention is all you need --->> transform
经典图： 复现的github链接 https://github.com/jadore801120/attention-is-all-you-need-pytorch 注释的代码全集： https://download.csdn.net/download/yang332233/87602895 /at ......
深度学习-RNN
I.前言 介绍RNN的概念和应用 RNN（Recurrent Neural Network，循环神经网络）是一类能够处理序列数据的神经网络，它在处理时考虑了之前的状态，因此能够对序列数据中的每个元素进行建模和预测。 RNN的应用非常广泛，特别是在自然语言处理和时间序列分析方面。以下是RNN在各个领域 ......
论文翻译：2020：ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification
论文地址：ECAPA-TDNN：在基于TDNN的说话人验证中强调通道注意、传播和聚集 论文代码：https://github.com/TaoRuijie/ECAPA-TDNN 引用格式：Desplanques B, Thienpondt J, Demuynck K. Ecapa-tdnn: Emph ......
Relational Learning with Gated and Attentive Neighbor Aggregator for Few-Shot Knowledge Graph Completion 小样本知识图谱补全论文解读
小样本知识图补全——关系学习。论文利用三元组的邻域信息，提升模型的关系表示学习，来实现小样本的链接预测。主要应用的思想和模型包括：GAT（图注意力神经网络）、TransH、SLTM、Model-Agnostic Meta-Learning (MAML)。 论文地址：https://arxiv.org ......
论文翻译：2022_DNS_1th：Multi-scale temporal frequency convolutional network with axial attention for speech enhancement
论文地址：带轴向注意的多尺度时域频率卷积网络语音增强 论文代码：https://github.com/echocatzh/MTFAA-Net 引用：Zhang G, Yu L, Wang C, et al. Multi-scale temporal frequency convolutional n ......
【机器学习】李宏毅——自注意力机制(Self-attention)
前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？ 这一类的场景包括文字识别、语音识别、图网络等等。 那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式： 每个向量对应一个输出：输出的数目与 ......