神经网络
[机器学习复习笔记] CNN 卷积神经网络
CNN 卷积神经网络 1. 二维卷积公式（机器学习） \[O(i, j) = \sum^{kh}_{i = 0} \sum^{kw}_{j = 0} w(i, j) * I(i + kh, j + kw) \]上述公式中，\(O\) 为输出矩阵，\(I\) 为输入矩阵，\(w\) 为卷积核，\(kh ......
神经网络稀疏综述
神经网络稀疏综述 1. 稀疏的概念 随着现代神经网络的规模不断提升，其消耗的内存，算力，能量都不断增加，这构成了在神经网络在实际应用中的瓶颈。如何尽可能的缩小网络同时又不损失其性能成为了一大神经网络方面的研究重点，目前常用的方法包括：剪枝，量化，网络结构搜索，知识蒸馏等。 我们现在讨论的神经网络稀疏 ......
机器学习——卷积神经网络
对于表格数据（其中行对应样本，列对应特征），我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。 此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。原因如下： 当特征数非常高维时，全连接网络的参数会变得极大，导致计算成本大 ......
【深度学习】PyTorch的基本运算 与 构造简单神经网络模型
基本运算 import torch # 创建一个自定义的张量 t = torch.tensor([1.0, 2.0, 3.0]) # tensor([1., 2., 3.]) # 求平均值 t.mean() # tensor(2.) # 创建一个指定行列的张量 x = torch.empty(3,5 ......
神经网络基础篇：向量化(Vectorization)
向量化 向量化是非常基础的去除代码中for循环的艺术，在深度学习安全领域、深度学习实践中，会经常发现自己训练大数据集，因为深度学习算法处理大数据集效果很棒，所以的代码运行速度非常重要，否则如果在大数据集上，代码可能花费很长时间去运行，将要等待非常长的时间去得到结果。所以在深度学习领域，运行向量化是一 ......
现代卷积神经网络
白羽~ summer pockets AlexNet 背景 当时计算机视觉研究人员会告诉一个诡异事实————推动领域进步的是数据特征，而不是学习算法。计算机视觉研究人员相信，从对最终模型精度的影响来说，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步要大得多。 另一组研究人员， ......
神经网络基础篇：详解逻辑回归 & m个样本梯度下降
逻辑回归中的梯度下降 本篇讲解怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式，其作用是用来实现逻辑回归中梯度下降算法。但是在本博客中，将使用计算图对梯度下降算法进行计算。必须要承认的是，使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是，认为以这个例子作为开始来讲解 ......
神经网络基础篇：史上最详细_详解计算图（Computation Graph）
计算图 可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者用来计算出对应的梯度或导数。计算图解释了为什么用这种方式组织这些计算过程。在这个博客中，将举一个例子说明计算图是什么。让举一个比逻辑回归更加简单的，或者说不 ......
umich cv-6-1 循环神经网络基本知识
这节课中介绍了循环神经网络的第一部分，主要介绍了循环神经网络的基本概念，vanilla循环网络架构，RNN的一些应用，vanilla架构的问题，更先进的rnn架构比如GRU和LSTM 循环神经网络基本知识 vanilla循环网络架构 应用与理解 vanilla架构的问题 LSTM vanilla循环 ......
神经网络基础篇：详解导数（Derivatives）
导数 一个函数\(f(a)=3a\)，它是一条直线。下面来简单理解下导数。让 看看函数中几个点，假定\(a=2\)，那么\(f(a)\)是\(a\)的3倍等于6，也就是说如果\(a=2\)，那么函数\(f(a)=6\)。假定稍微改变一点点\(a\)的值，只增加一点，变为2.001，这时\(a\)将向 ......
基于CNN卷积神经网络的目标识别matlab仿真,数据库采用cifar-10
1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.算法理论概述 CNN是一种专门用于图像处理的神经网络架构，其核心是卷积层、池化层和全连接层。CNN利用卷积操作和池化操作来自动学习图像中的特征，然后通过全连接层将这些特征映射到不同类别的标签上，实现图像分类和目标识别。 CNN ......
基于CNN卷积神经网络的口罩检测识别系统matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 新型冠状病毒可以通过呼吸道飞沫等方式传播，正确佩戴口罩可以有效切断新冠肺炎病毒的传播途径，是预防感染的有效措施。国内公众场合要求佩戴口罩。而商场、餐饮、地铁等人员密集型的场所对人流量高峰时段的应对措施往往令人力不 ......
umich cv-5-2 神经网络训练2
这节课中介绍了训练神经网络的第二部分，包括学习率曲线，超参数优化，模型集成，迁移学习 训练神经网络2 学习率曲线 超参数优化 模型集成 迁移学习 学习率曲线 在训练神经网络时，一个常见的思路就是刚开始迭代的时候学习率较大，然后随着迭代次数的增加，学习率逐渐下降，下面我们就来介绍几种学习率下降的方法： ......
umich cv-5-1 神经网络训练1
这节课中介绍了训练神经网络的第一部分，包括激活函数的选择，权重初始化，数据预处理以及正则化方法 训练神经网络1 激活函数 数据预处理 权重初始化 正则化方法 激活函数 这部分主要讨论我们之前提到的几种激活函数的利弊： 首先我们看sigmoid函数，这种激活函数有着激活函数中常见的优点与缺点： 优点方 ......
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
神经网络基础篇：逻辑回归的代价函数
逻辑回归的代价函数（Logistic Regression Cost Function） 为什么需要代价函数： 为了训练逻辑回归模型的参数参数\(w\)和参数\(b\)，需要一个代价函数，通过训练代价函数来得到参数\(w\)和参数\(b\)。先看一下逻辑回归的输出函数： 为了让模型通过学习调整参数， ......
umicv cv-summary1-全连接神经网络模块化实现
全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业，对前面学习的内容进行一些总结 在前面的作业中我们建立神经网络的操作比较简单，也不具有模块化的特征，在A3作业中， ......
神经网络基础篇：逻辑回归
逻辑回归(Logistic Regression) 对于二元分类问题来讲，给定一个输入特征向量\(X\)，它可能对应一张图片，想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，想要一个算法能够输出预测，只能称之为\(\hat{y}\)，也就是对实际值 \(y\) 的估计。更正式地来说，想让 \ ......
使用卷积神经网络训练手写数字识别模型(CNN)
https://www.cnblogs.com/zylyehuo/ 效果展示 目录结构 README.md # Basic MNIST Example pip install -r requirements.txt python main.py # CUDA_VISIBLE_DEVICES=2 py ......
4. 卷积神经网络
1. 机器学习中两个主要问题 1.1 回归 1.2 分类 分类是可交换的，可以将狗称为第一类，猫是第二类，也可以反过来。 卷积是可交换的 上式是分类的损失函数，\(y\)是0或1，\(\hat {y} \epsilon [0 , 1]\) 2. 数学过程 上图就是卷积的运算 后证明：若\(u(x) ......
神经网络基础篇：详解二分类(Binary Classification)
二分类 注：当实现一个神经网络的时候，通常不直接使用for循环来遍历整个训练集（编程tips） 举例逻辑回归 逻辑回归是一个用于二分类(binary classification)的算法。首先从一个问题开始说起，这里有一个二分类问题的例子，假如有一张图片作为输入，比如这只猫，如果识别这张图片为猫，则 ......
《动手学深度学习 Pytorch版》 9.4 双向循环神经网络
之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。 9.4.1 隐马尔可夫模型中的动态规划 数学推导太复杂了，略。 9.4.2 双向模型 双向循环神经网络（bidirectional RNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。 ......
基于神经网络的图像识别研究
基于神经网络的图像识别是计算机视觉领域的一个热门研究方向，尤其是深度学习技术的兴起。以下是一些与基于神经网络的图像识别相关的关键主题和研究方向： 1. 卷积神经网络（CNN）： CNN是图像识别领域最重要的神经网络之一。研究人员一直在改进CNN的架构，如LeNet、AlexNet、VGG、GoogL ......
卷积神经网络中卷积层、池化层、全连接层的作用(摘录)
1. 卷积层的作用卷积层的作用是提取输入图片中的信息，这些信息被称为图像特征，这些特征是由图像中的每个像素通过组合或者独立的方式所体现，比如图片的纹理特征，颜色特征。 比如下面这张图片，蓝色框框住的地方就是脸部特征，这些特征其实是由一个个像素所组成的。 再者这是一张彩色图片，它包含R、G、B三个通道 ......
《动手学深度学习 Pytorch版》 9.3 深度循环神经网络
将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系 将深度架构中的函数依赖关系形式化，第 \(l\) 个隐藏层的隐状态表达式为： \[\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol ......
GRLSTM：基于图的残差LSTM轨迹相似性计算《GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM》(知识图谱嵌入、图神经网络、残差网络、点融合图、多头图注意力网络GAT、残差LSTM、点感知损失函数(图的点损失函数、轨迹的点损失函数))
2023年10月18日，14:14。 来不及了，这一篇还是看的翻译。 论文：GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM(需要工具才能访问) Github： AAAI 2023的论文。 摘要 轨迹相似 ......
6.卷积神经网络
卷积层的作用一 在说卷积层之前, 我想先说一下为什么会有卷积层; 前面几个博客提到的神经网络都是用矩阵乘法来建立输入和输出之间的关系, 如果有n个输入和m个输出, 那么就需要n*m个参数; 如果n和m很大并且有多个全连接层的话需要的参数数量是庞大的; 卷积层就是通过三个特性来解决这个问题： 稀疏连接 ......
神经网络入门篇：为什么深度学习会兴起？
为什么深度学习会兴起？ 这篇我们来讲故事，关于为什么深度学习会兴起的故事~ 深度学习和神经网络之前的基础技术理念已经存在大概几十年了，为什么它们现在才突然流行起来呢？ 因为多亏数字化社会的来临，现在的数据量都非常巨大，我们花了很多时间活动在这些数字的领域，比如在电脑网站上、在手机软件上以及其它数字化 ......
神经网络入门篇：神经网络的监督学习
神经网络的监督学习 关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别，下面来举例看看。 在监督学习中你有一些输入\(x\)，想学习到一个函数来映射到一些输出\(y\)，比如之前提到 ......
神经网络入门篇：神经网络到底是什么东西
神经网络到底是什么东西 我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？ 举例说明-通俗易懂 第一个例子 从一个房价预测的例子开始讲起。 假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺或者平方米，并且 ......