卷积 神经cnn
12神经网络中的数学基础：梯度下降和反向传播
[toc] 神经网络中的数学基础：梯度下降和反向传播 随着人工智能和机器学习的发展，神经网络已经成为了许多应用中的主要技术。然而，神经网络的训练和优化仍然是一个具有挑战性的问题，其中涉及到许多数学基础和算法。在这篇文章中，我们将讨论神经网络中的两个关键概念：梯度下降和反向传播。 ## 1. 引言 神 ......
RNN循环神经网络 、LSTM长短期记忆网络实现时间序列长期利率预测|附代码数据
在 Tensorflow 之上运行的综合库，具有 CPU 和 GPU 功能 本文将演示如何在 R 中使用 LSTM 实现时间序列预测。 简单的介绍 时间序列涉及按时间顺序收集的数据。我用 xt∈R 表示单变量数据，其中 t∈T 是观察数据时的时间索引。时间 t 在 T=Z 的情况下可以是离散的，或者 ......
神经网络ANN
模型亮点 初始测试集上评分为0.4，调参后测试集上评分为0.97 数据集由sklearn自带 以下为模型具体实现 Step1.数据读取 from sklearn.datasets import load_iris iris=load_iris() x=iris.data y=iris.target ......
卷积神经网络（LeNet）
[toc] # 1. 卷积神经网络（LeNet） $LeNet$ 最早的卷积神经网络之一（$1989$ 年提出）。用于银行支票上手写数字识别（$1998$ 年杨立坤教授提出）。 ## 1.1 LeNet $LeNet$ $(LeNet-5)$ 由两部分组成： - 卷积编码器：由 $2$ 个卷积层。 ......
初等数论（Ⅳ）：狄利克雷卷积和各类反演
# 前置知识 ## 积性函数 满足 $f(1)=1$，并且当 $\gcd(a,b)=1$ 时，有 $f(ab) = f(a)f(b)$，则称 $f(n)$ 为积性函数。 如果对于全部的 $a,b$，都有 $f(ab)=f(a)f(b)$，则称 $f(n)$ 是完全积性函数。 ### 常见积性函数 1 ......
分组卷积
分组卷积（Grouped Convolution）是一种在卷积神经网络中常用的卷积操作，它将输入特征图分成多个分组，并在每个分组上应用卷积操作。每个分组使用独立的卷积核进行卷积计算，最后将各个分组的输出合并起来形成最终的输出特征图。 传统的卷积操作是在整个输入特征图上进行的，使用一组卷积核对整个特征 ......
深度可分离卷积
深度可分离卷积（Depthwise Separable Convolution）是一种在卷积神经网络中常用的卷积操作，它可以有效地减少计算量和模型参数的数量，从而提高模型的效率和速度。 传统的卷积操作是在输入特征图的每个通道上进行的，使用一组卷积核对每个通道进行卷积计算。而深度可分离卷积将卷积操作分 ......
[重读经典论文] ConvNeXt——卷积网络又行了
参考博客：ConvNeXt网络详解 参考视频：13.1 ConvNeXt网络讲解 ConvNeXt其实就是面向Swin Transformer的架构进行炼丹，最后获得一个比Swin Transformer还要牛逼的网络。 ......
神经网络反向传播算法（BP）
前面讲了神经网络的前向传播算法，下面再对反向传播算法进行总结。 反向传播算法也称为误差逆传播（error BackPropagation），是指基于梯度下降对神经网络的损失函数进行迭代优化求极小值的过程，它不仅可应用于前馈神经网络，还可以用于其他类型的神经网络。需要注意的是，大家提及到的“BP网络” ......
深度学习应用篇-计算机视觉-视频分类[8]：时间偏移模块（TSM）、TimeSformer无卷积视频分类方法、注意力机制
深度学习应用篇-计算机视觉-视频分类[8]：时间偏移模块（TSM）、TimeSformer无卷积视频分类方法、注意力机制 ......
2.4类神经网路训练不起来怎么办 (四):损失函数 (Loss) 也可能有影响
# 1. classification 与 regression 的区别 ## 1.1 classification 与 regression 输出的区别 classification中，我们用 one-hot 向量表示不同的类别(一个向量中只有1 个 1 ，其余都为 0，1 在不同的位置代表不同类 ......
Matlab用深度学习循环神经网络RNN长短期记忆LSTM进行波形时间序列数据预测|附代码数据
全文链接：http://tecdat.cn/?p=27279 最近我们被客户要求撰写关于深度学习循环神经网络RNN的研究报告，包括一些图形和统计输出。 此示例说明如何使用长短期记忆 (LSTM) 网络预测时间序列 LSTM神经网络架构和原理及其在Python中的预测应用 LSTM 网络是一种循环神经 ......
【学习笔记】狄利克雷卷积与高级筛法
# 狄利克雷卷积 ## 概念 对于数论函数 $f,g$，定义其狄利克雷卷积 $h=f*g$，满足： $$h(n)=(f*g)(n)=\sum_{d\mid n} f(d)g\left(\dfrac{n}{d}\right)$$ 运算律： - 满足交换律，显然具有对称性。 - 满足结合律，等价于三个 ......
脑机接口 | 面向步态&神经电生理研究的非人灵长类模型与系统
近期，海南大学生物医学工程学院脑机芯片神经工程团队在Frontiers in Neuroscience期刊上发表了题为《面向步态&神经电生理研究的非人灵长类模型与系统》的学术论文。海南大学生物医学工程学院梁丰研副教授为第一作者，殷明教授为通讯作者。海南大学为第一作者单位和通讯单位。 大脑皮层在运动控 ......
CAM, Grad-CAM, Grad-CAM++可视化CNN方式的代码实现和对比
当使用神经网络时，我们可以通过它的准确性来评估模型的性能，但是当涉及到计算机视觉问题时，不仅要有最好的准确性，还要有可解释性和对哪些特征/数据点有助于做出决策的理解。模型专注于正确的特征比模型的准确性更重要。 理解CNN的方法主要有类激活图(Class Activation Maps, CAM)、梯 ......
深度学习—Faster R-CNN系列目标检测算法
〇、目标检测 1、定义：既包括回归问题（外接框顶点坐标回归也包括分类问题（识别每个检测框中的物体种类） 在深度学习中，目标检测就是在图像中自动生成确定物体/目标位置（定位目标）， 及物体类别（目标识别）目标的位置的表示方法， 通常是目标的外边界的矩形框（或其他形式的框）的各项顶点。 2、基于深度学习 ......
算法学习笔记(24): 狄利克雷卷积和莫比乌斯反演
# 狄利克雷卷积和莫比乌斯反演 > 看了《组合数学》，再听了学长讲的……感觉三官被颠覆…… [TOC] ## 狄利克雷卷积 如此定义： $$ (f*g)(n) = \sum_{xy = n} f(x)g(y) $$ 或者可以写为 $$ (f * g)(n) = \sum_{d | n} f(d) g ......
论文-用于射频无人机监控系统的高性能卷积网络
# RF-UAVNet: High-Performance Convolutional Network for RF-Based Drone Surveillance Systems RF-UAVNet: High-Performance Convolutional Network for RF-B ......
Matlab用深度学习循环神经网络RNN长短期记忆LSTM进行波形时间序列数据预测|附代码数据
全文链接：http://tecdat.cn/?p=27279 最近我们被客户要求撰写关于深度学习循环神经网络RNN的研究报告，包括一些图形和统计输出。 此示例说明如何使用长短期记忆 (LSTM) 网络预测时间序列 LSTM神经网络架构和原理及其在Python中的预测应用 LSTM 网络是一种循环神经 ......
2.3类神经网路训练不起来怎么办 (三):自动调整学习速率 (Learning Rate)
# 1. 自适应学习率调整(Adaptive Learning Rate) ## 1.1 为什么需要调整学习率 首先认识一个现象.Training stuck ≠ Small Gradient 训练卡住的原因不一定是因为 gradient 太小,即critical point，也有可能是因为振荡. ......
[cnn][julia]Flux实现卷积神经网络cnn预测手写MNIST
# julia_Flux ### 1.导入Flux.jl和其他所需工具包 ```julia using Flux, MLDatasets, Statistics using Flux: onehotbatch, onecold, logitcrossentropy, params using MLD ......
2.2类神经网路训练不起来怎么办 (二)： 批次 (batch) 与动量 (momentum)
# 1. Batch(批次) > 对抗临界点的两个方法就是batch 和 momentum 将一笔大型资料分若干批次计算 loss 和梯度,从而更新参数.每看完一个epoch就把这笔大型资料打乱(shuffle),然后重新分批次.这样能保证每个epoch中的 batch 资料不同,避免偶然性. > ......
P5333 [JSOI2019]神经网络
# P5333 [JSOI2019]神经网络 ## Solution `EGF` 表示有标号排列。 对每棵树分别算出划分成 $i$ 条链的方案数，记为 $f_i$。 > 具体地：设 $dp[u][i][0/1/2]$ 表示在 $u$ 子树内拆分成 $i$ 条已结束的链， > > $0$: 已拼完，无 ......
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据
原文链接：http://tecdat.cn/?p=23689 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 本文探索Python中的长短期记忆（LSTM）网络，以及如何使用它们来进行股市预测 （ 点击文末“阅读原文”获取完整代码数据******** ）。 在本文中，你将看到 ......
DeepBurning：神经网络系列学习加速器自动生成
介绍一下这篇论文所做的工作。 ## Introduction 首先是背景方面， 现在出现了CNN、RNN、LSTM等多种神经网络，如何使用硬件加速的方法让这些网络跑的更快？ 现在已经有的工作： ##### 1.GPGPU 加速矩阵乘法，可以处理非常大规模的CNN和多种GPU支持的学习框架， 但缺点是 ......
莫比乌斯反演 & 狄利克雷卷积
~~大家好，我不会数学实锤了。~~ 文章内容较杂，分章节叙述了的大部分有关内容。 ~~为什么把这俩放一起？我不知道。~~ ## 积性函数 积性函数：$\forall a,b$，$a\perp b$，如果一个函数 $f$ 始终满足 $f(ab) = f(a)f(b)$，则称 $f(x)$ 为积性函数。 ......
2.1类神经网路训练不起来怎么办 (一):局部最小值 (local minima) 与鞍点 (saddle point) - 李宏毅
# 1. When gradient is small 本小节主要讨论优化器造成的训练问题. ## 1.1 Critical Point（临界点） 如果训练过程中经过很多个epoch后,loss还是不下降,那么可能是因为梯度(斜率)接近于 0,导致参数更新的步伐接近于0,所以参数无法进一步更新,lo ......
人工智能创新挑战赛：助力精准气象和海洋预测Baseline[2]：数据探索性分析（温度风场可视化）、CNN+LSTM模型建模
人工智能创新挑战赛：助力精准气象和海洋预测Baseline[2]：数据探索性分析（温度风场可视化）、CNN+LSTM模型建模 ......
神经网络模型
神经网络介绍 T. Kohonen于1988年在Neural Networks创刊号上给出了神经网络的定义：神经网络是由具有适应性的简单单元组成的广泛并互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络中最基本的成分是神经元（neuron）模型（即上述定义中的“简单单 ......
【什么是CNN】入门学习随笔
什么是CNN？ https://www.bilibili.com/video/BV1zF411V7xu/?p=6&share_source=copy_web&vd_source=3a1ed9fe9b3eb506d95e8709e124a7ce CNN最基本的架构：卷积层、池化层、全连接层 带参数计算 ......