神经 人体
基于HOG特征提取和GRNN神经网络的人脸表情识别算法matlab仿真,测试使用JAFFE表情数据库
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 该算法主要由两个部分组成：HOG特征提取和GRNN神经网络。下面将详细介绍这两个部分的原理和数学公式。 1.HOG特征提取 HOG（Histogram of Oriented Gradients）是一种局部特征描 ......
PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子|附代码数据
全文下载链接：http://tecdat.cn?p=26519 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 一个简单的编码器-解码器LSTM神经网络应用于时间序列预测问题：预测天然气价格，预测范围为 10 天。“进入”时间步长也设置为 10 天。) 只需要 10 天来推断 ......
大规模神经网络优化：神经网络损失空间“长”什么样？
前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 ......
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析|附代码数据
原文链接：http://tecdat.cn/?p=23485 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于神经网络的研究报告，包括一些图形和统计输出。 用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往 ......
卷积神经网络中的平移不变性
一、什么是平移不变性 1. 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。 所以上面的描述就对应着各种不变性： 平移不变性：T ......
神经网络中间层特征图可视化（输入为音频）（二）
相比（一）个人感觉这种方法更好 import librosa import numpy as np import utils import torch import matplotlib.pyplot as plt class Hook: def __init__(self): self.featu ......
神经网络梯度爆炸和消失
神经网络梯度爆炸和消失 目录神经网络梯度爆炸和消失现象说明产生原因解决方法优化激活函数权重初始化和正则化BN归一化操作使用残差结构梯度裁剪预训练+微调参考资料 层数比较多的神经网络模型在训练的时候会出现梯度消失(gradient vanishing problem)和梯度爆炸(gradient ex ......
神经网络入门篇：直观理解反向传播（Backpropagation intuition）
详细推导反向传播 下图是逻辑回归的推导： 回想一下逻辑回归的公式(参考公式1.2、公式1.5、公式1.6、公式1.15) 公式1.38： \[\left. \begin{array}{l} {x }\\ {w }\\ {b } \end{array} \right\} \implies{z={w}^ ......
神经网络入门篇：神经网络的梯度下降（Gradient descent for neural networks）
神经网络的梯度下降 在这篇博客中，讲的是实现反向传播或者说梯度下降算法的方程组 单隐层神经网络会有\(W^{[1]}\)，\(b^{[1]}\)，\(W^{[2]}\)，\(b^{[2]}\)这些参数，还有个\(n_x\)表示输入特征的个数，\(n^{[1]}\)表示隐藏单元个数，\(n^{[2]} ......
生活医学-人体结构-消化
消化系统 在医院中，我们经常看到：消化科、消化内科、胃肠道科、肛肠科 这些科中所提到的胃、肠 就属于消化系统的范畴 消化系统的组成： 消化管 消化管是一条自口腔延伸至肛门的很长的肌性管道 即：口腔、咽、食道、胃、小肠、十二指肠、大肠、肛门 消化腺 小消化腺 大消化腺 腮腺、下颌下腺、舌下腺、肝脏(最 ......
生活医学-人体结构-基本组成
人体的系统 一个人的人体是由系统组成的 每一个系统又是由好几个器官所组成的 如图所示： 再比如过消化道，实际上指的就是消化系统 然后消化系统中的胃，就是属于消化系统其中的一个器官 器官 然而就胃这个器官而言，它又分别是由好几种组织所组成的 例如：胃的表层皮组织、肌肉组织等等 同时，每一个组织都由很多 ......
深度学习笔记1：在小型数据集上从头开始训练一个卷积神经网络
本文将介绍如何在一个小型的数据集上使用卷积神经网实现图片的分类。在这个例子中，我们将使用一个经典的数据集，包含24000张猫狗图片（12000张猫的图片和12000张狗的图片），提取2000张用于训练和验证，1000张用于测试。我们将首先在2000个训练样本上训练一个简单的小型卷积神经网络模型，然后... ......
简单神经网络（py）
1 import numpy 2 #激活函数库 3 import scipy.special 4 5 import matplotlib.pyplot 6 7 #neutral network class definition 8 class neutralNetwork: 9 def __init ......
c4w4_人脸识别和神经风格转换
特殊应用：人脸识别和神经风格转换 人脸识别 与人脸识别（Face Recognition）相关的还有活体检测（Liveness Detection）问题，在这里仅讨论前者。 人脸验证（Face Verification）和人脸识别（Face Recognition）的区别: 人脸验证：一般指一个1对 ......
c4w1_卷积神经网络
卷积神经网络 计算机视觉问题 计算机视觉（computer vision）是因深度学习而快速发展的领域之一，它存进了如自动驾驶、人脸识别等应用的发展，同时计算机视觉领域的发展还可以给其他领域提供思路。 计算机视觉应用的实例：图片分类（识别是不是一只猫）、目标检测（检测途中汽车行人等）、图片风格转移等 ......
c1w4_深层神经网络
深层神经网络 什么是深层神经网络？ 深层的神经网络（Deep L-layer neural network）就是包含了更多隐藏层的神经网络。 从某种意义上来说，logistic regression可以称为一层的神经网络“1 layer NN”。当计算神经网络的层数，通常将输出层计算在内，而输出层不 ......
神经网络中的量化与蒸馏
前言 本文介绍了深度学习中精简模型的技术：量化和蒸馏。 本文转载自DeepHub IMBA 作者：Aaditya ura 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 ......
神经网络入门篇：详解为什么需要非线性激活函数？（why need a nonlinear activation function?）
为什么需要非线性激活函数？ 为什么神经网络需要非线性激活函数？事实证明：要让的神经网络能够计算出有趣的函数，必须使用非线性激活函数，证明如下： 这是神经网络正向传播的方程，现在去掉函数\(g\)，然后令\(a^{[1]} = z^{[1]}\)，或者也可以令\(g(z)=z\)，这个有时被叫做线性激 ......
神经网络入门篇：激活函数（Activation functions）
激活函数 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的博客只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。 在神经网路的前向传播中，\(a^{[1]} = \sigma(z^{[1]})\)和\(a^{[2]} =\sigma(z^ ......
机器学习——深度循环神经网络
到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对一个单层来说，这可能具有相当的挑战性。 之前在线性模型中，我们通过添加更多的层来解决这个问题。 而在循环神经网络中 ......
神经网络中间层特征图可视化（输入为音频）
import librosa import numpy as np import utils import torch import torch.nn.functional as F from matplotlib import pyplot as plt from torchvision.mode ......
神经网络入门篇：详解向量化实现的解释（Justification for vectorized implementation）
向量化实现的解释 先对几个样本计算一下前向传播，看看有什么规律： 公式1.16： \(z^{[1](1)} = W^{[1]}x^{(1)} + b^{[1]}\) \(z^{[1](2)} = W^{[1]}x^{(2)} + b^{[1]}\) \(z^{[1](3)} = W^{[1]}x^{ ......
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢? 量化:牺牲精度换取效率 量化是关 ......
神经网络入门篇：详解多样本向量化（Vectorizing across multiple examples）
多样本向量化 与上篇博客相联系的来理解 逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤： 图1.4.1 上篇博客中得到的四个等式。它们给出如何计算出\(z^{[1 ......
m基于GA-CNN遗传优化卷积神经网络的手势识别算法matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： CNN训练结果 GA优化之后的CNN训练结果 GA优化过程得到的均值收敛过程 CNN与GA优化CNN的识别率对比 本课题采用的数据库如下： 2.算法涉及理论知识概要 基于GA-CNN遗传优化卷积神经网络的手势识别算法是一种结合了遗传算法（GA） ......
机器学习——循环神经网络的实现
独热编码 回想一下，在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难。 我们通常将每个词元表示为更具表现力的特征向量。 最简单的表示称为独热编码（one-hot encoding）， 它在 3.4.1节中介绍过。 简言之，将每个索引映射为相互不 ......
机器学习——循环神经网络
隐状态 无隐状态的神经网络 有隐状态的循环神经网络 循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络。 基于循环神经网络的字符级语言模型 回想一下 8.3节中的语言模型， 我们的目标是根据过去的和当前的词元预测下一个词元， 因此我们将原始序列移位一 ......
【深度学习笔记】第3章-神经网络基础
参考书籍： 邓立国等《python深度学习原理、算法与案例》清华大学出版社 3.3 感知机 3.3.1 感知机模型 感知机，又称阈值逻辑单元（Threshold Logic Unit，TLU）/线性阈值单元（Linear Threshold Unit，LTU） 经典数据集：Iris Data Set ......
深度学习模型---卷积神经网络
深度学习 深度学习模型是一种机器学习方法，它模仿人脑神经网络的结构和功能，通过多层次的神经网络进行学习和推断。深度学习模型在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。 深度学习模型的基本单元是神经网络，它由大量的人工神经元组成，每个神经元都与其他神经元相连。深度学习模型的深度指的是神 ......