梯度minibatch深度rmsprop
Python进行多输出（多因变量）回归：集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化|附代码数据
原文链接： http://tecdat.cn/?p=25939 最近我们被客户要求撰写关于多输出（多因变量）回归的研究报告，包括一些图形和统计输出。 在之前的文章中，我们研究了许多使用 多输出回归分析的方法。在本教程中，我们将学习如何使用梯度提升决策树GRADIENT BOOSTING REGRES ......
m基于HOG特征提取和GRNN网络的人体姿态识别算法matlab仿真,样本为TOF数据库的RGB-D深度图像
1.算法仿真效果 matlab2022a仿真结果如下： TOF数据库如下： 2.算法涉及理论知识概要 1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域 ......
系数矩阵为Hessian矩阵时的使用Pearlmutter trick的共轭梯度解法
共轭梯度法已经在前文中给出介绍： python版本的“共轭梯度法”算法代码 使用共轭梯度法时，如果系数矩阵为Hessian矩阵，那么我们可以使用Pearlmutter trick技术来减少计算过程中的内存消耗，加速计算。 使用Pearlmutter trick的共轭梯度解法源自论文： Fast Ex ......
神经网络与深度学习
# 神经网络与深度学习（邱锡鹏） ## 第一部分 机器学习基础 ### 第1章 绪论 深度学习是机器学习的一个分支，指从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上。 一种可以比较好解决贡献度分配问题的模型是人工神经网络（Artificial Neural Network，ANN ......
python版本的“共轭梯度法”算法代码
在看代码的过程中遇到了共轭梯度法这个概念，对这个算法的数学解释看过几遍，推导看过了，感觉懂了，然后过上一些日子就又忘记了，然后又看了一遍推导，然后过了一些日子也就又忘记了，最后想想这个算法的数学解释就不要再取深究了，毕竟平时也不太会用到，偶尔用到了只要保证代码会写也就OK了。 ......
会流程图却不会UML活动图？活动图深度剖析，就怕你学不会！
### **1. UML活动图是啥？**  也许很多人都不怎么了解活 ......
如何使用 Nvidia 显卡 (CUDA) 为机器学习/深度学习设置 Windows 机器
如果您正在学习机器学习/深度学习，您可能正在使用免费的Google Colab。但是您可能想知道免费版本是否足够。 如果您买得起优质的 Nvidia 显卡（具有相当数量的 CUDA 内核），那么您可以轻松地使用您的显卡来完成此类密集型工作。 许多开发人员为此使用 Linux。但是，我不喜欢 Linu ......
基于ResNet18深度学习网络的mnist手写数字数据库识别matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： 2.算法涉及理论知识概要 ResNet系列网络，图像分类领域的知名算法，经久不衰，历久弥新，直到今天依旧具有广泛的研究意义和应用场景。被业界各种改进，经常用于图像识别任务。ResNet-18，数字代表的是网络的深度，也就是说ResNet18 网 ......
动手学深度学习P3.1-线性神经网络-线性回归
# 3.1 线性回归 回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。 ## 3.1.1 线性回归的基本元素 这一部分主要是各种原理及公式，还是需要直接去阅读全文~ 总结部分要点如下： 1. 线性回归 ......
小灰灰深度学习day5——数据预处理
内容简介: 1.将数据写入.csv文件中 2.将数据从.csv文件中读出 3.利用插值法处理缺失的数据 4.将数据类型转化为torch张量类型 代码如下: import os os.makedirs(os.path.join('..', 'data'), exist_ok=True) data_fi ......
深度学习算法预测（LSTM）
深度学习算法预测（LSTM） LSTM在时间序列预测领域有着不错的表现，在进行时间序列预测时，既可以对单变量序列进行预测，也可以对多变量序列进行有效地输出。 LSTM搭建将使用tensorflow的keras模块搭建，已高度封装，可直接取用。 共封装了3个主要的函数： fit用于模型训练； eval ......
代码随想录算法训练营第16天 | ● 104.二叉树的最大深度 559.n叉树的最大深度 ● 111.二叉树的最小深度 ● 222.完全二叉树的节点个数 - 第6章 二叉树 part03
第六章 二叉树part03 今日内容： ● 104.二叉树的最大深度 559.n叉树的最大深度 ● 111.二叉树的最小深度 ● 222.完全二叉树的节点个数 迭代法，大家可以直接过，二刷有精力的时候 再去掌握迭代法。 详细布置 104.二叉树的最大深度 （优先掌握递归） 什么是深度，什么是高度，如 ......
小灰灰深度学习day4——数据操作之张量(torch)
震惊了！！！在python中， y = x + y;与 y += x;竟然有区别，且看如下代码: import torch ''' x = torch.arange(12) print(x) #reshape可以改变张量的形状而不改变元素的数量和元素值 X = x.reshape(-1,3) pri ......
《深度剖析CPython解释器》29. 源码解密 map、filter、zip 底层实现，对比列表解析式
楔子 Python 现在如此流行，拥有众多开源、高质量的第三方库是一个重要原因，不过 Python 的简单、灵巧、容易上手也是功不可没的，而其背后的内置函数（类）则起到了很大的作用。举个栗子： numbers = [1, 2, 3, 4, 5] # 将里面每一个元素都加1 print(list(ma ......
树的最大深度-java实现
使用递归的方法最为简洁、高效；通过主次遍历，主要不为空，书的深度就加一，同时比较右侧树的深度，每次返回最大值； 1 public int maxDepth(TreeNode root) { 2 return root==null?0:Math.max(maxDepth(root.left)+1,ma ......
深入分析：矩阵梯度类实例研究
## 写在前面 本文主要用于围绕矩阵类求梯度等问题进行证明与分析，由于笔者的数理基础浅薄，下面的证明过程若存在错误，欢迎评论指正。 矩阵梯度的通用方法：先将矩阵写成微分形式，$df=tr(GdX)$，然后得到$\nabla f=G^T $ ### 案例1 $\begin{array}{ll}\min ......
深入分析：近端梯度下降法、交替方向乘子法、牛顿法
本文主要围绕近端梯度下降法（Proximal Gradient Descent）、交替方向乘子法（Alternating Direction Method of Multipliers）、牛顿法来结合实际的案例进行推导分析，主打一个面向对象。 ......
基于GoogleNet深度学习网络的人员身份识别系统Matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： 2.算法涉及理论知识概要 深度学习（DL，Deep Learning）是机器学习（ML，Machine Learning）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能（AI，Artificial Intellige ......
MATLAB实验四：共轭梯度法程序设计
一、实验目的 掌握共轭梯度法的基本思想及其迭代步骤；学会运用MATLAB编程实现常用优化算法；能够正确处理实验数据和分析实验结果及调试程序。 二、实验内容 （1）求解无约束优化问题：min f(x)=100(x1^2-x2)^2+(x1-1)^2,x∈R； （2）终止准则取||f(x^k)||<=1 ......
代码随想录算法训练营第十六天|104. 二叉树的最大深度、559. N 叉树的最大深度、111. 二叉树的最小深度、222. 完全二叉树的节点个数
【参考链接】 104. 二叉树的最大深度 【注意】 1. 二叉树节点的深度：指从根节点到该节点的最长简单路径边的条数或者节点数（取决于深度从0开始还是从1开始）。 二叉树节点的高度：指从该节点到叶子节点的最长简单路径边的条数或者节点数（取决于高度从0开始还是从1开始）。 2.根节点的高度就是二叉树的 ......
深度解析线程的正确停止方法
# 深度解析线程的正确停止方法  ## 一、解惑 ### 1. 什么情况下，线程需要被停止？ 线程和任务被创建和启动 ......
深度解析 slab 内存池回收内存以及销毁全流程
在上篇文章 [《深入理解 slab cache 内存分配全链路实现》](https://mp.weixin.qq.com/s?__biz=Mzg2MzU3Mjc3Ng==&mid=2247488152&idx=1&sn=7c65f8ee28e9cc14a86e9df92b6d2b93&chksm=c ......
深度学习分类网络---ResNet
### 一、为什么引入ResNet 通过上一篇分类网络的介绍，我们知道网络的宽度和深度可以很好的提高网络的性能，深的网络一般都比浅的的网络效果好，但训练一个很深的网络是非常困难的，一方面是网络越深越容易出现**梯度消失和梯度爆炸**问题， 然而这个问题通过BN层和ReLU激活函数等方法在很大程度上已 ......
深度学习
## 第一部分 基础知识（T=3W） #### 1.1 数学（T=1W） - 高数：导数、微分、积分、梯度、泰勒展开式 - 线性代数：向量、矩阵、运算、范数、特征向量和特征值 - 概率论：条件概率、期望等 #### 1.2 Python（T=1W） - [廖雪峰免费教程](https://www.l ......
激活函数及其梯度
# 激活函数及其梯度 1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。 科学家借鉴这种机制发明了神经元模型。 这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。 为了解决这问题，科学家引入了新 ......
单层感知机的梯度推导
# 单层感知机的梯度推导  w10表示前一层的第1节点和这一层的第0节点相连。  pytorch实现 注：torch.randn(m,n)生成m行n列 ......
梯度及梯度下降
# 梯度下降 我们的目的是找到使预测值最接近真实值的参数，也就是使损失函数最小的参数，即求解损失函数的极值点。于是引入梯度下降的方法，这是被使用最广泛的优化算法。 梯度下降算法是通过一次次的去调整参数，使得损失函数下降到极小值。 ## 什么叫梯度？ 梯度就是下降的方向，它的值为损失函数的偏导数。学习 ......
深度学习模型对图像进行特征提取
深度学习模型可以自动从图像中学习到特征，这些特征可以用于图像分类、目标检测和图像生成等任务。目前，深度学习模型在图像识别方面取得了非常出色的成果。 深度学习模型通常使用卷积神经网络（CNN）进行特征提取。CNN中的卷积层、池化层和全连接层可以自动学习到图像中的各种特征，例如边缘、纹理、角点和物体形状 ......
基于深度学习的图像识别技术研究
深度学习是一种机器学习技术，它模拟人类大脑的神经网络，通过多层神经网络对输入数据进行处理和学习，从而实现对复杂数据的高效识别和分类。基于深度学习的图像识别技术已经在各个领域得到广泛应用，包括人脸识别、自动驾驶、医学图像分析等。 在图像识别领域，深度学习技术主要应用于图像分类、目标检测、图像分割等任务 ......