梯度minibatch深度rmsprop
【图论#01】邻接表的应用以及深度优先搜索
先说一个结论:图论没什么高级的 二叉树也是图的一种,你不是天天见吗。。。 当然,既然图论是一个比二叉树更大的概念,那么二者肯定还是有不同的,[详见](https://programmercarl.com/%E5%9B%BE%E8%AE%BA%E6%B7%B1%E6%90%9C%E7%90%86%E8 ......
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类|附代码数据
原文链接:http://tecdat.cn/?p=26318 原文出处:拓端数据部落公众号 最近我们被客户要求撰写关于长短期记忆 (LSTM) 神经网络的研究报告,包括一些图形和统计输出。 此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据的每个时间步长进行分类。 要训练深度神经网络对序 ......
ubuntu 22.04 深度学习环境配置(pytorch版本)
# part1 验证方法 ## 1 验证Anaconda conda -V ## 2 验证显卡驱动 nvidia-smi ## 3 验证cuda nvcc -V ## 4 验证pytorch、torchvision conda list | grep torch # part2 安装顺序 ## 1 ......
用于3D MRI和CT扫描的深度学习模型总结
医学成像数据与其他我们日常图像的最大区别之一是它们很多都是3D的,比如在处理DICOM系列数据时尤其如此。DICOM图像由很多的2D切片组成了一个扫描或身体的特定部分。 那么如何为这类数据构建深度学习解决方案呢?本文中将介绍6种神经网络架构,可以使用它们来训练3D医疗数据上的深度学习模型。 3 d ......
深度神经网络
需要解决的问题: 1、掉入局部最优解的陷阱 2、过拟合(陷入对特定模式的数据进行最优化,无法对未知输入进行正确的预测) 3、梯度消失——使用ReLU作为激励函数 4、学习时间过长 一些解决方案: 1、更换最优化算法 2、批次尺寸最优化 3、对超参数的最优化(神经网络层数、神经元个数、学习系数) 4、 ......
深度学习
得分函数 W:权重参数,对结果起着决定性的影响因素,权重的大小指的是这个像素的影响程度的大小,权重的正负表示对结果起着促进作用还是抑制作用 b:偏置参数,对结果进行微调操作 W矩阵是优化得来的 损失函数 这个损失函数是大于0的,数值越大表明我们求得的权重矩阵越不好,在计算损失函数之前我们知道我们的输 ......
易基因:m5C RNA甲基转移酶及其在癌症中的潜在作用机制|深度综述
大家好,这里是专注表观组学十余年,领跑多组学科研服务的易基因。 近年来,5-甲基胞嘧啶(m5C)RNA修饰已成为通过编码和非编码RNA调控RNA代谢和功能的关键参与者。越来越多的证据表明,m5C可以调控RNA稳定性、翻译、转录、出核和切割,以及介导细胞增殖、分化、凋亡、应激反应和其他生物学功能。人的 ......
从源码层面深度剖析Spring循环依赖
本文从源码层面介绍了Spring如何创建bean、如何解决循环依赖,同时也介绍了不能解决哪些循环依赖,同时在文章的最后解决循环依赖报错的几个方法 ......
深度学习的一些基础函数
上半年学习的一些记录 主要参考的书:《写给新手的深度学习:用Python学习神经网络和反向传播》 Numpy: linspace reshape 广播机制(数组在某一轴上扩展,值和原来一样,扩展之后可以和其他维度的数组做基本计算) 切片 transpose 调换轴 其中transpose(1,0)等 ......
检测数组深度,数据深度,几维数组
``` /** * 检测数据的深度 * @param $array 要检测的数组 * @return int 返回深度值 */ function array_depth($array) { $max_depth = 1; foreach ($array as $value) { if (is_arr ......
深度神经网络调优
1.选择合适的模型架构 总结:当开始一个新的工程时,试着复用已经有效果的模型 1)首先,选择一个已经被广泛使用和建立起来的模型架构来先让其正常工作。可以在以后再建立一个定制化的模型。 2)模型架构一般都具有多种超参数,这些超参数决定了模型的尺寸和其他一些细节(如,层数,层 宽,激活函数的类型),因此 ......
深度学习框架 —— 分布式训练
现在深度学习的模型结构越来越大,参数动不动都是上亿甚至上千亿,这也对训练模型的资源量有很高的要求,显然单个机器上要训练这么大的网络是不现实的,因此学术界和工业界自然开始研究用分布式训练。也就是将一个机器学习模型任务拆分成多个子任务,并将子任务分发给多个计算节点,解决资源瓶颈。 # 1. 分布式训练概 ......
深度学习编译器后端和运行时
编译器前端将用户代码解析得到计算图 IR,并且做了一些和计算设备无关的通用优化。编译器后端做的优化就和具体的设备有关了(不同设备有不同的 allocator,不同的编程模型,比如英伟达的 CUDA),后端优化更加贴合硬件,会针对硬件特点为 IR 中的计算节点选择在硬件上的算子,然后为每个算子的输入输 ......
深度 Q 网络(deep Q network,DQN)原理&实现
# 深度 Q 网络(deep Q network,DQN)原理&实现 ## 1 Q-Learning 算法 ### 1.1 算法过程 Q-learning是一种用于解决强化学习问题的无模型算法。强化学习是一种让智能体学习如何在环境中采取行动以最大化某种累积奖励的机器学习方法。 在Q-learning ......
AlexNet深度卷积神经网络——pytorch版
import torch from torch import nn from d2l import torch as d2l net = nn.Sequential( # (224-11+1+2)/4=54 nn.Conv2d(1,96,kernel_size=11,stride=4,padding ......
深度学习编译器前端技术概述
AI 编译器在前端经常会做一些静态分析,方便在前端做一些优化:自动微分等。 ![](https://img2023.cnblogs.com/blog/2078361/202308/2078361-20230806133909447-419423130.png) ## 中间表示(Intermediat ......
002-深度学习数学基础(神经网络、梯度下降、损失函数)
0. 前言 人工智能可以归结于一句话:针对特定的任务,找出合适的数学表达式,然后一直优化表达式,直到这个表达式可以用来预测未来。 针对特定的任务: 首先我们需要知道的是,人工智能其实就是为了让计算机看起来像人一样智能,为什么这么说呢?举一个人工智能的例子: 我们人看到一个动物的图片,就可以立刻知道这 ......
2、深度学习之张量和基本数据类型
1、构建项目 2、编辑test2.py 1 import torch 2 import numpy as np 3 import tensorflow as tf 4 #1. pytorch张量 5 #pytorch中的张量和tensorflow的tensor是一样的,名字都一样 6 #pytorc ......
在消费级GPU调试LLM的三种方法:梯度检查点,LoRA和量化
LLM的问题就是权重参数太大,无法在我们本地消费级GPU上进行调试,所以我们将介绍3种在训练过程中减少内存消耗,节省大量时间的方法:梯度检查点,LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程,我们需要了解反向传播是如何执行的,以及 ......
[论文阅读] 颜色迁移-梯度保护颜色迁移
## [论文阅读] 颜色迁移-梯度保护颜色迁移 文章: [[Gradient-Preserving Color Transfer](https://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2009.01566.x)], [[代码未公开]()] ......
OCR深度实践系列(三):文本检测
https://mp.weixin.qq.com/s?__biz=MzI5MjYzNzAyMw==&mid=2247484216&idx=1&sn=619ea106f11af6bd3d0f851fd57add9e&chksm=ec7f1308db089a1e6dd201e5da662e4951382 ......
OCR深度实践系列:数据生成
转载:https://mp.weixin.qq.com/s?__biz=MzI5MjYzNzAyMw==&mid=2247484187&idx=1&sn=549b68ec989792ad5e2fb9179af55598&chksm=ec7f132bdb089a3d2f96ebecc780a6e756 ......
OCR深度实践系列(四):文本识别
https://zhuanlan.zhihu.com/p/334340972 (一)图像预处理 (二)数据生成 (三)文本检测 最近在攻关法律领域的类案检索系统,这几天正好忙完了,得空继续写《OCR深度实践系列》这一专题的文章。前面三章依次介绍了图像预处理、数据生成以及文本检测三个模块,本章将介绍第 ......
OCR深度实践系列:图像预处理
转载:https://mp.weixin.qq.com/s?__biz=MzI5MjYzNzAyMw==&mid=2247484153&idx=1&sn=b65e9e99047ae20ed44cd99e4b0ff2e0&chksm=ec7f12c9db089bdf84281eaa54dad96679 ......
历史与未来,带你了解深度学习OCR
转载:https://zhuanlan.zhihu.com/p/363523508 1. OCR基础 光学字符识别(Optical Character Recognition)简称OCR,是一种能够从图像或者视频中自动识别文本内容,自动转化成机器可读、可处理的结构化字符信息的技术,发挥着计算机“眼睛 ......
深度学习-->卷积神经网络(LeNet)
LeNet: # LeNet import d2lzh as d2l import mxnet as mx from mxnet import autograd, gluon, init, nd from mxnet.gluon import loss as gloss, nn import tim ......
物联网相关-DPI 深度报文检测
DPI 深度报文检测 deep packet inspection 深度报文检测,提出的背景是:如P2P、流媒体等新的网络业务的出现,运营商这边的数据流量和网络流量压力变大,需要对流量进行检测,来升级、服务。 简单的报文检测,只分析:源IP、目的IP、源端口、目的端口、协议类型 深度报文检测,是加上 ......
动手深度学习pytorch 8-章
1. 序列模型 a)自回归模型 对见过的数据建模 b)马尔可夫模型 c)因果关系 2. 单机多卡并行 数据并行和模型并行: 数据并行,将小批量分成n块,每个GPU拿到完整参数计算,性能更好。模型并行,将模型分成n块,每个GPU拿到一块模型计算前向和方向结果,用于单GPU放不下 小批量分到多GPU计算 ......
强化学习——策略梯度之Reinforce
1、策略梯度介绍 相比与DQN,策略梯度方法的区别主要在于,我们对于在某个状态下所采取的动作,并不由一个神经网络来决定,而是由一个策略函数来给出,而这个策略函数的目的,就是使得最终的奖励的累加和最大,这也是训练目标,所以训练会围绕策略函数的梯度来进行。 2、策略函数 以Reinforce算法为例, ......