批次normalization网路 神经
神经网络基础篇：详解logistic 损失函数（Explanation of logistic regression cost function）
详解 logistic 损失函数 在本篇博客中，将给出一个简洁的证明来说明逻辑回归的损失函数为什么是这种形式。 回想一下，在逻辑回归中，需要预测的结果\(\hat{y}\),可以表示为\(\hat{y}=\sigma(w^{T}x+b)\)，\(\sigma\)是熟悉的\(S\)型函数 \(\sig ......
基于Mel谱图和卷积神经网络的音频识别
基于Mel谱图和卷积神经网络的音频识别 摘要——近年来，由于其许多潜在的应用，自动声音识别受到了越来越多的研究兴趣。其中包括视频/音频内容的自动标记和机器人的实时声音检测。虽然图像分类是一个研究较多的话题，但声音识别还不太成熟。在这项研究中，利用了为图像分类开发的鲁棒机器学习技术，并将其应用于声音识 ......
神经网络基础篇：关于 python_numpy 向量的说明（A note on python or numpy vectors）
关于 python_numpy 向量的说明 主要讲Python中的numpy一维数组的特性，以及与行向量或列向量的区别。并说一下在实际应用中的一些小技巧，去避免在coding中由于这些特性而导致的bug Python的特性允许使用广播（broadcasting）功能，这是Python的numpy程序 ......
神经网络基础篇：详解向量化逻辑回归(Vectorizing Logistic Regression)
向量化逻辑回归 讨论如何实现逻辑回归的向量化计算。这样就能处理整个数据集，甚至不会用一个明确的for循环就能实现对于整个数据集梯度下降算法的优化 首先回顾一下逻辑回归的前向传播步骤。所以，如果有 \(m\) 个训练样本，然后对第一个样本进行预测，需要这样计算。计算 \(z\)，正在使用这个熟悉的公式 ......
神经网络基础篇：Python 中的广播（Broadcasting in Python）
Python 中的广播 这是一个不同食物(每100g)中不同营养成分的卡路里含量表格，表格为3行4列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。行表示不同的营养成分，从上到下依次为碳水化合物，蛋白质，脂肪。 那么，现在想要计算不同食物中不同营养成分中的卡路里百分比。 现在计算苹果中 ......
01神经网络
主要还是有了初步的了解吧。 1.ReLU函数（线性整流函数） 前面为0后面为直线 2.神经网络 堆叠一些简单的神经元，可以获得一个稍微大的神经网络。 输入特征值x，根据输入参数 中间的小圈叫做神经网络中的隐藏神经元。 给定足够多的训练实例x，y，神经网络就可以很好拟合出函数建立x与y的关系。 3.监 ......
Batch Normalization(批量归一化)
Batch Normalization 内部协变量偏移（ICS） 在神经网络的训练过程中，由于隐藏层参数的更新，同分布不同批次的数据，进入网络同一层后的输出分布发生变化，这种现象称之为内部协变量偏移（ICS）。 引起的问题 收敛速度慢，学习不稳定 一方面，ICS现象使网络的每一层需要不断适应输入数据 ......
循环神经网络RNN
1. 循环神经网络：前一次输入x经过神经网络（有隐藏层、不同的神经元等）后得到一个输出结果y和a1，a1包含了前面序列的部分信息。 把a1给到y2的预测里面（如图所示），这样y2的预测和前面的序列就是有一定关系的。 循环神经网络（RNN）的核心： ......
基于卷积神经网络的美食分类
使用卷积神经网络解决美食图片的分类问题：：：数据集在我这里，私聊给！！！！！！！！！ 环境：python3.7 ， 飞浆版本2.0 ， 操作平台pycharm 步骤1：美食图片数据集介绍与加载： 本实践使用的数据集包含5000张格式为jpg的三通道彩色图像，共5种食物类别。对于本实践中的数据包，具体 ......
基于深度神经网络的宝石分类
我们将宝石分类视为一个图像分类任务，主要方法是使用深度神经网络搭建一个分类模型，通过对模型的多轮训练学习图像特征，最终获得用于宝石分类的模型，大致可以分为五步： 1、数据集的加载与预处理； 2、模型的搭建； 3、模型训练； 4、模型评估； 5、使用模型进行预测； 环境：python3.7，使用飞浆2 ......
[机器学习复习笔记] RNN 循环神经网络
RNN 循环神经网络 1. RNN 1.1 RNN 示意图及时序展开 此处的 \(\text{RNN}\) 模型采用的是 \(\text{BPTT}\) 算法（随时间反向传播） \(x^{(t)}\) 表示输入层的输入 \(U\) 为输入层到隐藏层的权值参数 \(h^{(t)}\) 表示隐藏层的输出 ......
[机器学习复习笔记] CNN 卷积神经网络
CNN 卷积神经网络 1. 二维卷积公式（机器学习） \[O(i, j) = \sum^{kh}_{i = 0} \sum^{kw}_{j = 0} w(i, j) * I(i + kh, j + kw) \]上述公式中，\(O\) 为输出矩阵，\(I\) 为输入矩阵，\(w\) 为卷积核，\(kh ......
神经网络稀疏综述
神经网络稀疏综述 1. 稀疏的概念 随着现代神经网络的规模不断提升，其消耗的内存，算力，能量都不断增加，这构成了在神经网络在实际应用中的瓶颈。如何尽可能的缩小网络同时又不损失其性能成为了一大神经网络方面的研究重点，目前常用的方法包括：剪枝，量化，网络结构搜索，知识蒸馏等。 我们现在讨论的神经网络稀疏 ......
机器学习——卷积神经网络
对于表格数据（其中行对应样本，列对应特征），我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。 此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。原因如下： 当特征数非常高维时，全连接网络的参数会变得极大，导致计算成本大 ......
【深度学习】PyTorch的基本运算 与 构造简单神经网络模型
基本运算 import torch # 创建一个自定义的张量 t = torch.tensor([1.0, 2.0, 3.0]) # tensor([1., 2., 3.]) # 求平均值 t.mean() # tensor(2.) # 创建一个指定行列的张量 x = torch.empty(3,5 ......
神经网络基础篇：向量化(Vectorization)
向量化 向量化是非常基础的去除代码中for循环的艺术，在深度学习安全领域、深度学习实践中，会经常发现自己训练大数据集，因为深度学习算法处理大数据集效果很棒，所以的代码运行速度非常重要，否则如果在大数据集上，代码可能花费很长时间去运行，将要等待非常长的时间去得到结果。所以在深度学习领域，运行向量化是一 ......
现代卷积神经网络
白羽~ summer pockets AlexNet 背景 当时计算机视觉研究人员会告诉一个诡异事实————推动领域进步的是数据特征，而不是学习算法。计算机视觉研究人员相信，从对最终模型精度的影响来说，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步要大得多。 另一组研究人员， ......
神经网络基础篇：详解逻辑回归 & m个样本梯度下降
逻辑回归中的梯度下降 本篇讲解怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式，其作用是用来实现逻辑回归中梯度下降算法。但是在本博客中，将使用计算图对梯度下降算法进行计算。必须要承认的是，使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是，认为以这个例子作为开始来讲解 ......
神经网络基础篇：史上最详细_详解计算图（Computation Graph）
计算图 可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者用来计算出对应的梯度或导数。计算图解释了为什么用这种方式组织这些计算过程。在这个博客中，将举一个例子说明计算图是什么。让举一个比逻辑回归更加简单的，或者说不 ......
umich cv-6-1 循环神经网络基本知识
这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 ......
神经网络基础篇：详解导数（Derivatives）
导数 一个函数\(f(a)=3a\)，它是一条直线。下面来简单理解下导数。让 看看函数中几个点，假定\(a=2\)，那么\(f(a)\)是\(a\)的3倍等于6，也就是说如果\(a=2\)，那么函数\(f(a)=6\)。假定稍微改变一点点\(a\)的值，只增加一点，变为2.001，这时\(a\)将向 ......
基于CNN卷积神经网络的目标识别matlab仿真,数据库采用cifar-10
1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.算法理论概述 CNN是一种专门用于图像处理的神经网络架构，其核心是卷积层、池化层和全连接层。CNN利用卷积操作和池化操作来自动学习图像中的特征，然后通过全连接层将这些特征映射到不同类别的标签上，实现图像分类和目标识别。 CNN ......
基于CNN卷积神经网络的口罩检测识别系统matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 新型冠状病毒可以通过呼吸道飞沫等方式传播，正确佩戴口罩可以有效切断新冠肺炎病毒的传播途径，是预防感染的有效措施。国内公众场合要求佩戴口罩。而商场、餐饮、地铁等人员密集型的场所对人流量高峰时段的应对措施往往令人力不 ......
umich cv-5-2 神经网络训练2
这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍几种学习率下降的方法： ......
umich cv-5-1 神经网络训练1
这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊： 首先我们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
神经网络基础篇：逻辑回归的代价函数
逻辑回归的代价函数（Logistic Regression Cost Function） 为什么需要代价函数： 为了训练逻辑回归模型的参数参数\(w\)和参数\(b\)，需要一个代价函数，通过训练代价函数来得到参数\(w\)和参数\(b\)。先看一下逻辑回归的输出函数： 为了让模型通过学习调整参数， ......
umicv cv-summary1-全连接神经网络模块化实现
全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业，对前面学习的内容进行一些总结 在前面的作业中我们建立神经网络的操作比较简单，也不具有模块化的特征，在A3作业中， ......
神经网络基础篇：逻辑回归
逻辑回归(Logistic Regression) 对于二元分类问题来讲，给定一个输入特征向量\(X\)，它可能对应一张图片，想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，想要一个算法能够输出预测，只能称之为\(\hat{y}\)，也就是对实际值 \(y\) 的估计。更正式地来说，想让 \ ......
揭秘计算机的神经系统：探索计算机的基本组成
本文将揭秘计算机的神经系统，探索计算机的基本硬件组成。从CPU、内存、主板、I/O设备到显卡，逐一介绍其功能和作用。同时，还将讨论冯·诺依曼体系结构和哈佛结构的区别，帮助读者更好地理解计算机的工作原理。 ......