卷积 神经cnn
基于深度神经网络的宝石分类
我们将宝石分类视为一个图像分类任务，主要方法是使用深度神经网络搭建一个分类模型，通过对模型的多轮训练学习图像特征，最终获得用于宝石分类的模型，大致可以分为五步： 1、数据集的加载与预处理； 2、模型的搭建； 3、模型训练； 4、模型评估； 5、使用模型进行预测； 环境：python3.7，使用飞浆2 ......
[机器学习复习笔记] RNN 循环神经网络
RNN 循环神经网络 1. RNN 1.1 RNN 示意图及时序展开 此处的 \(\text{RNN}\) 模型采用的是 \(\text{BPTT}\) 算法（随时间反向传播） \(x^{(t)}\) 表示输入层的输入 \(U\) 为输入层到隐藏层的权值参数 \(h^{(t)}\) 表示隐藏层的输出 ......
[机器学习复习笔记] CNN 卷积神经网络
CNN 卷积神经网络 1. 二维卷积公式（机器学习） \[O(i, j) = \sum^{kh}_{i = 0} \sum^{kw}_{j = 0} w(i, j) * I(i + kh, j + kw) \]上述公式中，\(O\) 为输出矩阵，\(I\) 为输入矩阵，\(w\) 为卷积核，\(kh ......
神经网络稀疏综述
神经网络稀疏综述 1. 稀疏的概念 随着现代神经网络的规模不断提升，其消耗的内存，算力，能量都不断增加，这构成了在神经网络在实际应用中的瓶颈。如何尽可能的缩小网络同时又不损失其性能成为了一大神经网络方面的研究重点，目前常用的方法包括：剪枝，量化，网络结构搜索，知识蒸馏等。 我们现在讨论的神经网络稀疏 ......
机器学习——卷积神经网络
对于表格数据（其中行对应样本，列对应特征），我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。 此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。原因如下： 当特征数非常高维时，全连接网络的参数会变得极大，导致计算成本大 ......
【深度学习】PyTorch的基本运算 与 构造简单神经网络模型
基本运算 import torch # 创建一个自定义的张量 t = torch.tensor([1.0, 2.0, 3.0]) # tensor([1., 2., 3.]) # 求平均值 t.mean() # tensor(2.) # 创建一个指定行列的张量 x = torch.empty(3,5 ......
神经网络基础篇：向量化(Vectorization)
向量化 向量化是非常基础的去除代码中for循环的艺术，在深度学习安全领域、深度学习实践中，会经常发现自己训练大数据集，因为深度学习算法处理大数据集效果很棒，所以的代码运行速度非常重要，否则如果在大数据集上，代码可能花费很长时间去运行，将要等待非常长的时间去得到结果。所以在深度学习领域，运行向量化是一 ......
【PyTorch 卷积】实战自定义的图片归类
前言 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，它通过卷积层、池化层、全连接层等结构，可以有效地处理如时间序列和图片数据等。关于卷积的概念网络上也比较多，这里就不一一描述了。实战为主当然要从实际问题出发，用代码的方式加深印象。在写代码前，我先说一下为什么我 ......
现代卷积神经网络
白羽~ summer pockets AlexNet 背景 当时计算机视觉研究人员会告诉一个诡异事实————推动领域进步的是数据特征，而不是学习算法。计算机视觉研究人员相信，从对最终模型精度的影响来说，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步要大得多。 另一组研究人员， ......
神经网络基础篇：详解逻辑回归 & m个样本梯度下降
逻辑回归中的梯度下降 本篇讲解怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式，其作用是用来实现逻辑回归中梯度下降算法。但是在本博客中，将使用计算图对梯度下降算法进行计算。必须要承认的是，使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是，认为以这个例子作为开始来讲解 ......
【纯 Transformer 也可以取代 CNN 用于CV】Vision Transformer (ViT) 论文精读
原始题目 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 中文名称 一张图像等价于 16x16 Words: Transformers 来做大规模的图像识别 发表时间 2020年10月22日 平台 ......
神经网络基础篇：史上最详细_详解计算图（Computation Graph）
计算图 可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者用来计算出对应的梯度或导数。计算图解释了为什么用这种方式组织这些计算过程。在这个博客中，将举一个例子说明计算图是什么。让举一个比逻辑回归更加简单的，或者说不 ......
【CNN 取代 Transformer 加速 SAM】Fast SAM 笔记
将 SAM 任务转换为经过广泛研究的实例分割任务，并仅使用 SAM 作者发布的SA-1B数据集的1/50进行训练现有的实例分割方法 问题 1： 本文要解决什么问题？ SAM 的计算成本高，主要来自于 处理高分辨率输入的 Transformer 架构。本文想要加速 SAM 模型的推理速度。 问题 2： ......
umich cv-6-1 循环神经网络基本知识
这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 ......
神经网络基础篇：详解导数（Derivatives）
导数 一个函数\(f(a)=3a\)，它是一条直线。下面来简单理解下导数。让 看看函数中几个点，假定\(a=2\)，那么\(f(a)\)是\(a\)的3倍等于6，也就是说如果\(a=2\)，那么函数\(f(a)=6\)。假定稍微改变一点点\(a\)的值，只增加一点，变为2.001，这时\(a\)将向 ......
基于CNN卷积神经网络的目标识别matlab仿真,数据库采用cifar-10
1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.算法理论概述 CNN是一种专门用于图像处理的神经网络架构，其核心是卷积层、池化层和全连接层。CNN利用卷积操作和池化操作来自动学习图像中的特征，然后通过全连接层将这些特征映射到不同类别的标签上，实现图像分类和目标识别。 CNN ......
基于CNN卷积神经网络的口罩检测识别系统matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 新型冠状病毒可以通过呼吸道飞沫等方式传播，正确佩戴口罩可以有效切断新冠肺炎病毒的传播途径，是预防感染的有效措施。国内公众场合要求佩戴口罩。而商场、餐饮、地铁等人员密集型的场所对人流量高峰时段的应对措施往往令人力不 ......
umich cv-5-2 神经网络训练2
这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍几种学习率下降的方法： ......
umich cv-5-1 神经网络训练1
这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊： 首先我们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 ......
DSPLearning_day02--卷积、互相关和差分方程求解的matlab实现
卷积实现 \[y(n) = x(n) * h(n) \\ y(n) = \sum_{m = -\infin}^{\infin}x(m)h(n-m) \]%确定第一个序列的x轴和y轴坐标 nx = [0:1]; x = [1 2]; %确定第二个序列的x轴和y轴坐标 nh = [0:2]; h = [ ......
变换和卷积
拉普拉斯变换和卷积 如果 \(F(s)\) 和 \(G(s)\) 分别是 \(f(t)\) 和 \(g(t)\) 的拉普拉斯变换，那么： \((f * g)(t)\) 的拉普拉斯变换是 \(F(s) \cdot G(s)\) 即： \(\mathcal{L}\{f * g\} = F(s) \cdo ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
神经网络基础篇：逻辑回归的代价函数
逻辑回归的代价函数（Logistic Regression Cost Function） 为什么需要代价函数： 为了训练逻辑回归模型的参数参数\(w\)和参数\(b\)，需要一个代价函数，通过训练代价函数来得到参数\(w\)和参数\(b\)。先看一下逻辑回归的输出函数： 为了让模型通过学习调整参数， ......
umich cv-4-2 经典卷积网络架构
这节课中主要讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络经典结构 AlexNet VGG GoogleNet Residual Network AlexNet 在2012年的时候，Alexnet神经网络提出，这时网络的架构比如说各个层之间要如何排列组合，使用多少卷积层池化层，每 ......
umich cv-4-1 卷积网络基本组成部分介绍
这节课中介绍了卷积网络的基本组成部分(全连接层，激活函数，卷积层，池化层，标准化等)，下节课讨论了卷积神经网络的发展历史以及几种经典结构是如何构建的 卷积网络组成部分 前言 卷积层 池化层 normalization 前言 在之前提到的全连接神经网络中，我们直接把一个比如说32 * 32 * 3的图 ......
umicv cv-summary1-全连接神经网络模块化实现
全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业，对前面学习的内容进行一些总结 在前面的作业中我们建立神经网络的操作比较简单，也不具有模块化的特征，在A3作业中， ......
神经网络基础篇：逻辑回归
逻辑回归(Logistic Regression) 对于二元分类问题来讲，给定一个输入特征向量\(X\)，它可能对应一张图片，想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，想要一个算法能够输出预测，只能称之为\(\hat{y}\)，也就是对实际值 \(y\) 的估计。更正式地来说，想让 \ ......
揭秘计算机的神经系统：探索计算机的基本组成
本文将揭秘计算机的神经系统，探索计算机的基本硬件组成。从CPU、内存、主板、I/O设备到显卡，逐一介绍其功能和作用。同时，还将讨论冯·诺依曼体系结构和哈佛结构的区别，帮助读者更好地理解计算机的工作原理。 ......