Neural
机器翻译 | Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation论文总结
论文地址：https://arxiv.org/abs/1910.03009 ### 动机 神经机器翻译(NMT)模型在翻译**干净文本**时已被证明是强大的，但它们**对输入中的噪声非常敏感**。改进NMT模型的鲁棒性可以看作是对噪声的“域”适应的一种形式。 最先进的方法严重依赖于大量的反向翻译数据 ......
机器翻译 | Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation论文翻译
## 摘要 **神经机器翻译(NMT)模型在翻译干净文本时已被证明是强大的，但它们对输入中的噪声非常敏感**。改进NMT模型的鲁棒性可以看作是对噪声的“域”适应的一种形式。**最近创建的基于噪声文本的机器翻译任务语料库为一些语言对提供了噪声清洁的并行数据，但这些数据在大小和多样性方面非常有限**。最 ......
[SIGMOD 2022]Lightweight and Accurate Cardinality Estimation by Neural Network Gaussian Process
# Lightweight and Accurate Cardinality Estimation by Neural Network Gaussian Process ## 总结 用无限宽度神经网络和高斯过程来等价贝叶斯过程，并利用主动学习提高精度，实现对某个SQL查询的cost估算 ## 动机 ......
Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ https://arxiv.org/abs/2305.16044 Summary Keywords Introduction Results Noisy spiking neural network and noise-driven le ......
【论文阅读】Run, Don't Walk- Chasing Higher FLOPS for Faster Neural Networks1
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间： > - ⏰最近更新时间： > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 t ......
Memory Augmented Graph Neural Networks for Sequential Recommendation
[TOC] > [Ma C., Ma L., Zhang Y., Sun J., Liu X. and Coates M. Memory augmented graph neural networks for sequential recommendation. AAAI, 2021.](http: ......
4.3 Recurrent Neural Network (RNN) II
# 1. RNN 怎么学习 ## 1.1 Loss Function 如果要做learning的话,你要定义一个cost function来evaluate你的model是好还是不好,选一个parameter要让你的loss 最小.那在Recurrent Neural Network里面,你会怎么定 ......
Spike timing reshapes robustness against attacks in spiking neural networks
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 同大组工作 ......
关于Deep Neural Networks for YouTube Recommendations的一些思考和实现
作者自己实现该文章的时候遇到的一些值得思考的地方： - [关于Deep Neural Networks for YouTube Recommendations的一些思考和实现](https://cloud.tencent.com/developer/article/1170340) - [备份网址] ......
COMP9444 Neural Networks and Deep Learning
COMP9444 Neural Networks and Deep LearningTerm 2, 2023Project 1 - Characters and Hidden UnitDynamicsDue: Wednesday 5 July, 23:59 pmMarks: 20% of final ......
【五期邹昱夫】CCF-B（IEEE Access'19）Badnets: Evaluating backdooring attacks on deep neural networks
> "Gu, Tianyu, et al. "Badnets: Evaluating backdooring attacks on deep neural networks." IEEE Access 7 (2019): 47230-47244." 本文提出了外包机器学习时选择值得信赖的提供商的重要 ......
【五期邹昱夫】CCF-B（RAID'18）Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
> "Liu, Kang, Brendan Dolan-Gavitt, and Siddharth Garg. "Fine-pruning: Defending against backdooring attacks on deep neural networks." Research in Att ......
SNN-RAT: Robustness-enhanced Spiking Neural Network through Regularized Adversarial Training
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 同大组工作 Abstract ......
3.1 卷积神经网路 (Convolutional Neural Networks, CNN)
# 1. 概念引入: Image Classification 我们做图像分类时,一般分为三步: * 所有图片都先 rescale 成大小一样 * 把每一个类别表示成一个 one-hot vector(dimension 的长度决定模型可以辨识出多少不同种类的东西) * 将图片输入到模型中 ![im ......
Graph Neural Networks Inspired by Classical Iterative Algorithms
[TOC] > [Yang Y., Liu T., Wang Y., Zhou J., Gan Q., Wei Z., Zhang Z., Huang Z. and Wipf D. Graph neural networks inspired by classical iterative algor ......
Neural network image classification using Intel oneAPI tool
With the continuous development of artificial intelligence technology, image classification has become a popular research area. In this field, deep le ......
Learning to Pre-train Graph Neural Networks 学习如何预训练GNN
  ......
Paper Reading: Adaptive Neural Trees
本文设计了自适应神经树(ANT)将 NN 和 DT 的优点结合起来，ANT 将树结构中的路由决策和根到叶的计算路径表示为 NN，从而实现了分层表示学习。ANT 以树形拓扑作为一个强结构先验，通过该结构令特征以分层方式共享和分离。同时提出了一种基于反向传播的训练算法，基于一系列决策来生长 ANT 的结... ......
Basics of Neural Network Programming
[TOC] # Basics of Neural Network Programming ## Logistic Regression given x , want $\hat{y}=P(y=1|x)$, $x\in\R^{n_x}$ > $\hat{y_1}=w_{11}*x_{11}+w_{12 ......
使用 TensorFlow 自动微分和神经网络功能估算线性回归的参数（Estimate parameters for linear regression using automatic differentiation or neural network functions of TensorFlow）
大多数的深度学习框架至少都会具备以下功能： （1）张量运算 （2）自动微分 （3）神经网络及各种神经层 TensorFlow 框架亦是如此。在《深度学习全书 公式+推导+代码+TensorFlow全程案例》—— 洪锦魁主编 清华大学出版社 ISBN 978-7-302-61030-4 这本书第3章 ......
Paper Reading: forgeNet a graph deep neural network model using tree-based ensemble classifiers for feature graph construction
[toc] Paper Reading 是从个人角度进行的一些总结分享，受到个人关注点的侧重和实力所限，可能有理解不到位的地方。具体的细节还需要以原文的内容为准，博客中的图表若未另外说明则均来自原文。 | 论文概况 | 详细 | | | | | 标题 | 《forgeNet: a graph dee ......
Combining Label Propagation and Simple Models Out-performs Graph Neural Networks
[TOC] > [Huang Q., He H., Singh A., Lim S. and Benson A. R. Combining label propagation and simple models out-performs graph neural networks. ICLR, 20 ......
《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》特征交叉论文阅读
背景 这是一篇利用多头attention机制来做特征交叉的论文 模型结构 AutoInt的模型结构如上图所示，搞模型包含 Embedding Layer、Interacting Layer、Output Layer三个部分，其中Embedding Layer和Output Layer和普通模型没什么 ......
Twitter延迟转化论文《Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction》阅读
背景 由于用户的兴趣是实时变化的，现代推荐、广告系统采用了流式更新的方式来捕捉用户实时兴趣的变化。实时训练的方式面临的一个难题就是正样本的回传是有延迟的，一个实时发送的负样本其实是无法确认是否是真的负样本的。也就是说实时观测到的数据流是一个有偏数据流，并不是真实的数据。如果模型在这个有偏分布上学习， ......
VeriSilicon's Vivante® Neural Network Processor (NPU) IP
高度可扩展、可编程的计算机视觉和人工智能处理器 芯原Vivante的神经网络处理器 （NPU） IP是高度可扩展、可编程的计算机视觉和人工智能处理器，支持终端、边缘端及云端设备的人工智能运算升级。Vivante NPU IP可满足多种芯片尺寸和功耗预算，是具成本效益的优质神经网络加速引擎解决方案。 ......