神经网络
深度学习笔记1：在小型数据集上从头开始训练一个卷积神经网络
本文将介绍如何在一个小型的数据集上使用卷积神经网实现图片的分类。在这个例子中，我们将使用一个经典的数据集，包含24000张猫狗图片（12000张猫的图片和12000张狗的图片），提取2000张用于训练和验证，1000张用于测试。我们将首先在2000个训练样本上训练一个简单的小型卷积神经网络模型，然后... ......
简单神经网络（py）
1 import numpy 2 #激活函数库 3 import scipy.special 4 5 import matplotlib.pyplot 6 7 #neutral network class definition 8 class neutralNetwork: 9 def __init ......
c4w1_卷积神经网络
卷积神经网络 计算机视觉问题 计算机视觉（computer vision）是因深度学习而快速发展的领域之一，它存进了如自动驾驶、人脸识别等应用的发展，同时计算机视觉领域的发展还可以给其他领域提供思路。 计算机视觉应用的实例：图片分类（识别是不是一只猫）、目标检测（检测途中汽车行人等）、图片风格转移等 ......
c1w4_深层神经网络
深层神经网络 什么是深层神经网络？ 深层的神经网络（Deep L-layer neural network）就是包含了更多隐藏层的神经网络。 从某种意义上来说，logistic regression可以称为一层的神经网络“1 layer NN”。当计算神经网络的层数，通常将输出层计算在内，而输出层不 ......
神经网络中的量化与蒸馏
前言 本文介绍了深度学习中精简模型的技术：量化和蒸馏。 本文转载自DeepHub IMBA 作者：Aaditya ura 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 ......
神经网络入门篇：详解为什么需要非线性激活函数？（why need a nonlinear activation function?）
为什么需要非线性激活函数？ 为什么神经网络需要非线性激活函数？事实证明：要让的神经网络能够计算出有趣的函数，必须使用非线性激活函数，证明如下： 这是神经网络正向传播的方程，现在去掉函数\(g\)，然后令\(a^{[1]} = z^{[1]}\)，或者也可以令\(g(z)=z\)，这个有时被叫做线性激 ......
神经网络入门篇：激活函数（Activation functions）
激活函数 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的博客只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。 在神经网路的前向传播中，\(a^{[1]} = \sigma(z^{[1]})\)和\(a^{[2]} =\sigma(z^ ......
机器学习——深度循环神经网络
到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对一个单层来说，这可能具有相当的挑战性。 之前在线性模型中，我们通过添加更多的层来解决这个问题。 而在循环神经网络中 ......
神经网络中间层特征图可视化（输入为音频）
import librosa import numpy as np import utils import torch import torch.nn.functional as F from matplotlib import pyplot as plt from torchvision.mode ......
神经网络入门篇：详解向量化实现的解释（Justification for vectorized implementation）
向量化实现的解释 先对几个样本计算一下前向传播，看看有什么规律： 公式1.16： \(z^{[1](1)} = W^{[1]}x^{(1)} + b^{[1]}\) \(z^{[1](2)} = W^{[1]}x^{(2)} + b^{[1]}\) \(z^{[1](3)} = W^{[1]}x^{ ......
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢? 量化:牺牲精度换取效率 量化是关 ......
神经网络入门篇：详解多样本向量化（Vectorizing across multiple examples）
多样本向量化 与上篇博客相联系的来理解 逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤： 图1.4.1 上篇博客中得到的四个等式。它们给出如何计算出\(z^{[1 ......
m基于GA-CNN遗传优化卷积神经网络的手势识别算法matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： CNN训练结果 GA优化之后的CNN训练结果 GA优化过程得到的均值收敛过程 CNN与GA优化CNN的识别率对比 本课题采用的数据库如下： 2.算法涉及理论知识概要 基于GA-CNN遗传优化卷积神经网络的手势识别算法是一种结合了遗传算法（GA） ......
机器学习——循环神经网络的实现
独热编码 回想一下，在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难。 我们通常将每个词元表示为更具表现力的特征向量。 最简单的表示称为独热编码（one-hot encoding）， 它在 3.4.1节中介绍过。 简言之，将每个索引映射为相互不 ......
机器学习——循环神经网络
隐状态 无隐状态的神经网络 有隐状态的循环神经网络 循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络。 基于循环神经网络的字符级语言模型 回想一下 8.3节中的语言模型， 我们的目标是根据过去的和当前的词元预测下一个词元， 因此我们将原始序列移位一 ......
【深度学习笔记】第3章-神经网络基础
参考书籍： 邓立国等《python深度学习原理、算法与案例》清华大学出版社 3.3 感知机 3.3.1 感知机模型 感知机，又称阈值逻辑单元（Threshold Logic Unit，TLU）/线性阈值单元（Linear Threshold Unit，LTU） 经典数据集：Iris Data Set ......
深度学习模型---卷积神经网络
深度学习 深度学习模型是一种机器学习方法，它模仿人脑神经网络的结构和功能，通过多层次的神经网络进行学习和推断。深度学习模型在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。 深度学习模型的基本单元是神经网络，它由大量的人工神经元组成，每个神经元都与其他神经元相连。深度学习模型的深度指的是神 ......
神经网络入门篇：详解计算一个神经网络的输出（Computing a Neural Network's output）
一个神经网络的输出 首先，回顾下只有一个隐藏层的简单两层神经网络结构： 图1.3.1 其中，\(x\)表示输入特征，\(a\)表示每个神经元的输出，\(W\)表示特征的权重，上标表示神经网络的层数（隐藏层为1），下标表示该层的第几个神经元。这是神经网络的符号惯例，下同。 神经网络的计算 关于神经网络 ......
神经网络入门篇：详解神经网络概述和表示
神经网络概述（Neural Network Overview） 先开始快速浏览一下如何实现神经网络。上篇博客了解了逻辑回归，了解了这个模型(见图1.1.1)如何与下面公式1.1建立联系。 图1.1.1 : 公式1.1： \[\left. \begin{array}{l} x\\ w\\ b \end ......
机器学习——深度卷积神经网络AlexNet
AlexNet相对于LeNet的主要优势包括: 1. 更深的网络结构 AlexNet有8层结构,而LeNet只有5层。网络更加深入有利于学习更抽象的高级特征。 2. 使用ReLU激活函数 AlexNet使用ReLU激活函数,避免梯度消失问题,使得深层网络的训练更加容易。 3. 引入Dropout操作 ......
神经网络基础篇：详解logistic 损失函数（Explanation of logistic regression cost function）
详解 logistic 损失函数 在本篇博客中，将给出一个简洁的证明来说明逻辑回归的损失函数为什么是这种形式。 回想一下，在逻辑回归中，需要预测的结果\(\hat{y}\),可以表示为\(\hat{y}=\sigma(w^{T}x+b)\)，\(\sigma\)是熟悉的\(S\)型函数 \(\sig ......
基于Mel谱图和卷积神经网络的音频识别
基于Mel谱图和卷积神经网络的音频识别 摘要——近年来，由于其许多潜在的应用，自动声音识别受到了越来越多的研究兴趣。其中包括视频/音频内容的自动标记和机器人的实时声音检测。虽然图像分类是一个研究较多的话题，但声音识别还不太成熟。在这项研究中，利用了为图像分类开发的鲁棒机器学习技术，并将其应用于声音识 ......
神经网络基础篇：关于 python_numpy 向量的说明（A note on python or numpy vectors）
关于 python_numpy 向量的说明 主要讲Python中的numpy一维数组的特性，以及与行向量或列向量的区别。并说一下在实际应用中的一些小技巧，去避免在coding中由于这些特性而导致的bug Python的特性允许使用广播（broadcasting）功能，这是Python的numpy程序 ......
神经网络基础篇：详解向量化逻辑回归(Vectorizing Logistic Regression)
向量化逻辑回归 讨论如何实现逻辑回归的向量化计算。这样就能处理整个数据集，甚至不会用一个明确的for循环就能实现对于整个数据集梯度下降算法的优化 首先回顾一下逻辑回归的前向传播步骤。所以，如果有 \(m\) 个训练样本，然后对第一个样本进行预测，需要这样计算。计算 \(z\)，正在使用这个熟悉的公式 ......
神经网络基础篇：Python 中的广播（Broadcasting in Python）
Python 中的广播 这是一个不同食物(每100g)中不同营养成分的卡路里含量表格，表格为3行4列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。行表示不同的营养成分，从上到下依次为碳水化合物，蛋白质，脂肪。 那么，现在想要计算不同食物中不同营养成分中的卡路里百分比。 现在计算苹果中 ......
01神经网络
主要还是有了初步的了解吧。 1.ReLU函数（线性整流函数） 前面为0后面为直线 2.神经网络 堆叠一些简单的神经元，可以获得一个稍微大的神经网络。 输入特征值x，根据输入参数 中间的小圈叫做神经网络中的隐藏神经元。 给定足够多的训练实例x，y，神经网络就可以很好拟合出函数建立x与y的关系。 3.监 ......
循环神经网络RNN
1. 循环神经网络：前一次输入x经过神经网络（有隐藏层、不同的神经元等）后得到一个输出结果y和a1，a1包含了前面序列的部分信息。 把a1给到y2的预测里面（如图所示），这样y2的预测和前面的序列就是有一定关系的。 循环神经网络（RNN）的核心： ......
基于卷积神经网络的美食分类
使用卷积神经网络解决美食图片的分类问题：：：数据集在我这里，私聊给！！！！！！！！！ 环境：python3.7 ， 飞浆版本2.0 ， 操作平台pycharm 步骤1：美食图片数据集介绍与加载： 本实践使用的数据集包含5000张格式为jpg的三通道彩色图像，共5种食物类别。对于本实践中的数据包，具体 ......
基于深度神经网络的宝石分类
我们将宝石分类视为一个图像分类任务，主要方法是使用深度神经网络搭建一个分类模型，通过对模型的多轮训练学习图像特征，最终获得用于宝石分类的模型，大致可以分为五步： 1、数据集的加载与预处理； 2、模型的搭建； 3、模型训练； 4、模型评估； 5、使用模型进行预测； 环境：python3.7，使用飞浆2 ......