卷积 神经cnn
神经网络入门篇：详解参数VS超参数（Parameters vs Hyperparameters）
参数 VS 超参数 什么是超参数？ 比如算法中的learning rate \(a\)（学习率）、iterations(梯度下降法循环的数量)、\(L\)（隐藏层数目）、\({{n}^{[l]}}\)（隐藏层单元数目）、choice of activation function（激活函数的选择）都需 ......
神经网络入门篇：详解搭建神经网络块（Building blocks of deep neural networks）
搭建神经网络块 这是一个层数较少的神经网络，选择其中一层（方框部分），从这一层的计算着手。在第\(l\)层有参数\(W^{[l]}\)和\(b^{[l]}\)，正向传播里有输入的激活函数，输入是前一层\(a^{[l-1]}\)，输出是\(a^{[l]}\)，之前讲过\(z^{[l]} =W^{[l] ......
聊聊 神经网络模型 预训练生成超参数实现
概述 在上一篇博客中，已经阐述了预训练过程中，神经网络中超参数的计算逻辑，本文，从程序实现的角度，将数学计算转换为程序代码，最终生成超参数文件；并将替换 聊聊 神经网络模型 示例程序——数字的推理预测 中已训练好的超参数文件，推理预测数字，最终比对下两者的精确度。 神经网络层实现 首先，根据神经网络 ......
聊聊 神经网络模型 传播计算逻辑
概述 预训练过程就是在不断地更新权重超参数与偏置超参数，最后选择合适的超参数，生成超参数文件。上一篇博客 是使用已有的预训练超参数文件，要训练自己的超参数，需要对神经网络层中前向传播与反向传播计算熟悉，了解计算逻辑，才能不断地更新选择合适的超参数。 神经网络计算详解 整个神经网络的层数是4层，从顺序 ......
神经网络入门篇：详解核对矩阵的维数（Getting your matrix dimensions right）
核对矩阵的维数 当实现深度神经网络的时候，其中一个常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。 \(w\)的维度是（下一层的维数，前一层的维数），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的维度是（下 ......
聊聊 神经网络模型 示例程序——数字的推理预测
之前学习了解过了神经网络、CNN、RNN、Transformer的内容，但出了在魔塔上玩过demo，也没有比较深入的从示例去梳理走一遍神经网络的运行流程。从数字推测这个常用的示例走一遍主流程。 MNIST数据集 MNIST是机器学习领域 最有名的数据集之一，被应用于从简单的实验到发表的论文研究等各种 ......
机器学习中的典型算法——卷积神经网络（CNN）
1.机器学习的定位 AI，是我们当今这个时代的热门话题，那AI到底是啥？ 通过翻译可知：人工智能，而人工智能的四个核心要素： -数据 -算法 -算力 -场景 然后机器学习是人工智能的一部分，机器学习里面又有新的特例：深度学习。 通俗来说机器学习即使用机器去学习一部分数据，然后去预测新的数据所属的某一 ......
聊聊卷积神经网络CNN
卷积神经网络（Convolutional Neural Network，CNN）是一种被广泛应用于图像识别、语音识别和自然语言处理等领域的深度学习模型。与RNN、Transformer模型组成AI的三大基石。 在卷积神经网络中，相比较普通的神经网络，增加了卷积层(Convolution)和池化层(P ......
神经网络入门篇：详解深层网络中的前向传播（Forward propagation in a Deep Network）
深层网络中的前向传播 先说对其中一个训练样本\(x\)如何应用前向传播，之后讨论向量化的版本。 第一层需要计算\({{z}^{[1]}}={{w}^{[1]}}x+{{b}^{[1]}}\)，\({{a}^{[1]}}={{g}^{[1]}} {({z}^{[1]})}\)（\(x\)可以看做\({ ......
神经网络入门篇之深层神经网络：详解前向传播和反向传播（Forward and backward propagation）
深层神经网络（Deep L-layer neural network） 复习下前面的内容： 1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边： 注意，神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，\({x}_{1}\)、\({x}_{2}\)、\({x}_{3}\ ......
人工神经网络ANN中的前向传播和R语言分析学生成绩数据案例|附代码数据
全文链接：http://tecdat.cn/?p=19936 最近我们被客户要求撰写关于人工神经网络ANN的研究报告，包括一些图形和统计输出。 在本教程中，您将学习如何在R中创建神经网络模型 这里考虑人工神经网络具有一个隐藏层，两个输入和输出。 输入为 x1 和 x2。 两个权重乘以各自的权重 w1 ......
pytorch 一维卷积api理解
import torch torch.manual_seed(2021) # in_channels 表示输入特征数量，卷积核的第一个维度 # out_channels 表示输出特征数量，也是卷积核的数量 # kernel_size 是卷积核的第二维度。 卷积核维度为 in_channels * k ......
神经网络入门篇：详解随机初始化（Random+Initialization）
当训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果把权重或者参数都初始化为0，那么梯度下降将不会起作用。 来看看这是为什么。 有两个输入特征，\(n^{[0]} = 2\)，2个隐藏层单元\(n^{[1]}\)就等于2。 因此与一个隐 ......
基于HOG特征提取和GRNN神经网络的人脸表情识别算法matlab仿真,测试使用JAFFE表情数据库
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 该算法主要由两个部分组成：HOG特征提取和GRNN神经网络。下面将详细介绍这两个部分的原理和数学公式。 1.HOG特征提取 HOG（Histogram of Oriented Gradients）是一种局部特征描 ......
PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子|附代码数据
全文下载链接：http://tecdat.cn?p=26519 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 一个简单的编码器-解码器LSTM神经网络应用于时间序列预测问题：预测天然气价格，预测范围为 10 天。“进入”时间步长也设置为 10 天。) 只需要 10 天来推断 ......
文本识别之R-CNN
免责声明：文章转载https://zhuanlan.zhihu.com/p/42731634，作为自己的学习笔记之用 文章源自论文：Rich feature hierarchies for accurate object detection and semantic segmentation。 论文 ......
大规模神经网络优化：神经网络损失空间“长”什么样？
前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 ......
斯坦福大学引入FlashFFTConv来优化机器学习中长序列的FFT卷积
斯坦福大学的FlashFFTConv优化了扩展序列的快速傅里叶变换(FFT)卷积。该方法引入Monarch分解，在FLOP和I/O成本之间取得平衡，提高模型质量和效率。并且优于PyTorch和FlashAttention-v2。它可以处理更长的序列，并在人工智能应用程序中打开新的可能性。 处理长序列 ......
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析|附代码数据
原文链接：http://tecdat.cn/?p=23485 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于神经网络的研究报告，包括一些图形和统计输出。 用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往 ......
卷积神经网络中的平移不变性
一、什么是平移不变性 1. 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。 所以上面的描述就对应着各种不变性： 平移不变性：T ......
神经网络中间层特征图可视化（输入为音频）（二）
相比（一）个人感觉这种方法更好 import librosa import numpy as np import utils import torch import matplotlib.pyplot as plt class Hook: def __init__(self): self.featu ......
神经网络梯度爆炸和消失
神经网络梯度爆炸和消失 目录神经网络梯度爆炸和消失现象说明产生原因解决方法优化激活函数权重初始化和正则化BN归一化操作使用残差结构梯度裁剪预训练+微调参考资料 层数比较多的神经网络模型在训练的时候会出现梯度消失(gradient vanishing problem)和梯度爆炸(gradient ex ......
神经网络入门篇：直观理解反向传播（Backpropagation intuition）
详细推导反向传播 下图是逻辑回归的推导： 回想一下逻辑回归的公式(参考公式1.2、公式1.5、公式1.6、公式1.15) 公式1.38： \[\left. \begin{array}{l} {x }\\ {w }\\ {b } \end{array} \right\} \implies{z={w}^ ......
神经网络入门篇：神经网络的梯度下降（Gradient descent for neural networks）
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} ......
深度学习笔记1：在小型数据集上从头开始训练一个卷积神经网络
本文将介绍如何在一个小型的数据集上使用卷积神经网实现图片的分类。在这个例子中，我们将使用一个经典的数据集，包含24000张猫狗图片（12000张猫的图片和12000张狗的图片），提取2000张用于训练和验证，1000张用于测试。我们将首先在2000个训练样本上训练一个简单的小型卷积神经网络模型，然后... ......
简单神经网络（py）
1 import numpy 2 #激活函数库 3 import scipy.special 4 5 import matplotlib.pyplot 6 7 #neutral network class definition 8 class neutralNetwork: 9 def __init ......
OpenCV 卷积运算和卷积核
卷积运算和卷积核 图像运算中经常会碰到卷积运算这个讲法, 初看不知道具体含义, 其实非常简单, 工作原理如下: 首先提供一个小的矩阵, 一般是3*3, 或者是 5*5 或者是 7*7, 一般是方形矩阵, 维度为奇数, 这样中心点可以作为锚点, 矩阵中的元素取值多为很小的整数(或正或负或零), 该矩阵 ......
c4w4_人脸识别和神经风格转换
特殊应用：人脸识别和神经风格转换 人脸识别 与人脸识别（Face Recognition）相关的还有活体检测（Liveness Detection）问题，在这里仅讨论前者。 人脸验证（Face Verification）和人脸识别（Face Recognition）的区别: 人脸验证：一般指一个1对 ......
c4w2_深度卷积网络案例探究
深度卷积模型：案例探究 为什么要学习一些案例呢？ 就像通过看别人的代码来学习编程一样，通过学习卷积神经模型的案例，建立对卷积神经网络的（CNN）的“直觉”。并且可以把从案例中学习到的思想、模型移植到另外的任务上去，他们往往也表现得很好。 接下来要学习的神经网络： 经典模型：LeNet5、AlexNe ......