feed-forward attention long-term networks
《Attention Is All You Need》阅读笔记
论文标题 《Attention Is All You Need》 XXX Is All You Need 已经成一个梗了，现在出现了很多叫 XXX Is All You Need 的文章，简直标题党啊，也不写方法，也不写结果，有点理解老师扣论文题目了。 作者 这个作者栏太夸张了。八个作者全部标星，均 ......
GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
目录概符号说明GraphPrompt代码 Liu Z., Yu X., Fang Y. and Zhang X. GraphPrompt: Unifying pre-training and downstream tasks for graph neural networks. WWW, 2023. ......
2023ACMMM_Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing
一. Motivation 之前网络存在的缺点： 1. 使用的有限的频域信息 2. 不充足的信息交互 ： (1) 第一阶段的输出直接作为第二阶段的输入，忽略了中间特征从早期到后期的传播 (2) 在编码器解码器结构同尺度之间进行特征融合，忽略了阶段内和跨阶段的跨尺度信息交换 3. 严重的特征冗余：中间 ......
GPT-GNN: Generative Pre-Training of Graph Neural Networks
目录概符号说明GPT-GNN代码 Hu Z., Dong Y., Wang K., Chang K. and Sun Y. GPT-GNN: Generative pre-training of graph neural networks. KDD, 2020. 概 比较早的一篇图预训练模型. 符号 ......
2023ICLR_SFNet: Selective frequency network for image restoration
1. 在运行SFNet代码时，前后代码保持不变，运行两次结果发生变化, 把下面这段代码注掉就可以保持前后两次运行结果一致，不确定是否是nn.BatchNorm2d计算均值和方差导致 class dynamic_filter(nn.Module): def __init__(self, inchann ......
FlashAttention 如何加速Attention计算？
代数聚合 计算向量\(\mathbf x^l \in \mathbb R^{1 \times d}\)的softmax值 \[m(\mathbf x^l) = max(x_i^{l}) \\ f(\mathbf x^l) = [e^{x_1^l-m(\mathbf x^l)}, \cdots, e^ ......
Matching Network算法概述
什么是Matching Network 1. 论文地址：Matching Networks for One Shot Learning 2. 简介：基于Metric Learning部分思想，使用外部记忆来增强网络，提高网络的学习能力。 3. 创新点 借鉴了注意力和外部记忆方面的经验来搭建网络 基于 ......
【论文阅读】DeepAR Probabilistic forecasting with autoregressive recurrent networks
原始题目：DeepAR: Probabilistic forecasting with autoregressive recurrent networks 中文翻译：DeepAR:自回归递归网络的概率预测 发表时间：2020年07月 平台：International Journal of Forec ......
centos7 执行 systemctl restart network 报错解决
问题描述： 安装虚拟机器-->安装centos7 x64,使用MobaXterm_Personal_23.2.exe 连接centos, 报错如下图： Job for network.service failed because the control process exited with err ......
课程一第四周：Deep L-layer neural network
Deep L-layer neural network What is a deep neural network? 深层的神经网络就是包含了更多隐藏层的神经网络。 从某种意义上来说，logistic regression可以称为一层的神经网络“1 layer NN”。当计算神经网络的层数，通常将输 ......
CentOS7 虚拟机 ping network is unreachable
ping 指令提示network is unreachable 重启网络报错 尝试禁用重启网络的方式无效 直接dhclient -v指令解决。。。 ......
: Only one usage of each socket address (protocol/network address/port) is normally permitted.
2023/10/16 19:07:45 tick2023/10/16 19:07:46 dial tcp 7.11.12.26:3309: connectex: Only one usage of each socket address (protocol/network address/port) ......
论文阅读（四）—— Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
 ![image](https://img2023.cnblogs.com/blog/3279428/2... ......
Sequence to Sequence Learning with Neural Networks
Sequence to Sequence Learning with Neural Networks 关键词：LSTM，Seq2Seq 📜 研究主题 采用深度神经网络DNN 使用LSTM，并翻转输入句子顺序提升性能 ✨创新点： 更换seq2seq中RNN单元为LSTM，有提升对长句子训练速度的可能 ......
Attention Is All You Need
Attention Is All You Need 关键词：Self-Attention、Transformer 📜 研究主题 设计仅基于注意力机制的网络Transformer Transformer仍然采用Encoder-Decoder结构，但脱离了Seq2Seq结构，不采用RNN或CNN单元 ......
论文：Very deep convolutional networks for large-scale image recognition-VGG
论文名： Very deep convolutional networks for large-scale image recognition "用于大规模图像识别的深度卷积网络" 了解VGG模型 研究问题： 研究方法: 主要结论： 模型: 问题： 行文结构梳理： ......
Networking
Computer networks use network protocols to communicate with each other. Network protocols are often abstracted into different layers. For example, Ope ......
Triangle Graph Interest Network for Click-through Rate Prediction
目录概TGINMotivation: Triangle 的重要性Model代码 Jiang W., Jiao Y., Wang Q., Liang C., Guo L., Zhang Y., Sun Z., Xiong Y. and Zhu Y. Triangle graph interest ne ......
Dual Graph enhanced Embedding Neural Network for CTR Prediction
目录概DG-ENN Guo W., Su R., Tan R., Guo H., Zhang Y., Liu Z., Tang R. and He X. Dual graph enhanced embedding neural network for ctr prediction. KDD, 202 ......
Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction
目录概Fi-GNN代码 Li Z., Cui Z., Wu S., Zhang X. and Wang L. Fi-GNN: Modeling feature interactions via graph neural networks for ctr prediction. CIKM, 2019. ......
Convolutional Neural Networks（CNN）
数学基础 卷积 卷积这一概念从最原始来说属于一种数学的运算方法，两个数列进行卷积，是指将一个数列翻转后，从另一个数列最左侧开始滑动求和 来到计算机科学中，由于卷积核往往采用对称矩阵，所以翻转这一动作实际就可以忽略掉了。通过卷积核中数据的不同排列，实现提取出输入图片中的特定特征。 训练 + 预测 目前 ......
状态: 失败 -测试失败: IO 错误: The Network Adapter could not establish the connection (CONNECTION_ID=BMRc/8PgR2+0i4PK2tnHQA==)
1.问题 问题如标题所示，在使用Oracle SQL Developer连接时发现错误： 状态: 失败 -测试失败: IO 错误: The Network Adapter could not establish the connection (CONNECTION_ID=BMRc/8PgR2+0i4 ......
attention案列
1、自注意力案例 import torch import torch.nn as nn class Selfattention(nn.Module): def __init__(self,input_dim): super(Selfattention, self).__init__() self.q ......
GNNExplainer: Generating Explanations for Graph Neural Networks论文阅读笔记
GNNExplainer: Generating Explanations for Graph Neural Networks论文阅读笔记 摘要 因为结合图结构和特征信息会导致复杂的模型，解释GNN的预测没有得到解决，所有提出了一个GNNExplainer，是第一个通用的，与模型无关的方法，可以 ......
GAN（生成对抗网络，Generative Adversarial Network）
生成对抗网络（GAN）是一种深度学习模型架构，由生成器（Generator）和判别器（Discriminator）两个神经网络组成。这两个网络之间进行博弈式训练。 生成器（Generator）：生成器是一个神经网络模型，它接收一个随机噪声向量作为输入，并试图生成与训练数据相似的新数据样本。生成器的目 ......
AlexNet模型：ImageNet Classification with Deep Convolutional Neural Networks
文献名：ImageNet Classification with Deep Convolutional Neural Networks 创新点： 首次利用AlexNet神经网络，在ImageNet分类中以巨大的优势打败非神经网络算法 模型： ......
《ImageNet Classification with Deep Convolutional Neural Networks》阅读笔记
论文标题 《ImageNet Classification with Deep Convolutional Neural Networks》 ImageNet ：经典的划时代的数据集 Deep Convolutional：深度卷积在当时还处于比较少提及的地位，当时主导的是传统机器学习算法 作者 一作 ......
使用BAPI_NETWORK_COMP_*实现生产订单组件的增删改查
1、文档说明 对于生产订单组件的增删改有多种办法，比较常用的有使用内部函数CO_XT_COMPONENT_*，有改造BAPI_ALM_ORDER_MAINTAIN来实现，各有千秋。 本文档介绍，通过PS的BAPI_NETWORK_COMP_*系列BAPI，来实现常见的组件先删后建的覆盖式操作，组件部 ......
【NIPS2021】Twins: Revisiting the Design of Spatial Attention in Vision Transformers
来自美团技术团队♪（＾∀＾●）ﾉｼ 论文地址：https://arxiv.org/abs/2104.13840 代码地址：https://git.io/Twins 一、写在前面 本文提出了两种视觉转换器架构，即Twins-PCPVT和Twins-SVT。 Twins-PCPVT 将金字塔 Trans ......