梯度torch
MATLAB实验四：共轭梯度法程序设计
一、实验目的 掌握共轭梯度法的基本思想及其迭代步骤；学会运用MATLAB编程实现常用优化算法；能够正确处理实验数据和分析实验结果及调试程序。 二、实验内容 （1）求解无约束优化问题：min f(x)=100(x1^2-x2)^2+(x1-1)^2,x∈R； （2）终止准则取||f(x^k)||<=1 ......
激活函数及其梯度
# 激活函数及其梯度 1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。 科学家借鉴这种机制发明了神经元模型。 这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。 为了解决这问题，科学家引入了新 ......
单层感知机的梯度推导
# 单层感知机的梯度推导  w10表示前一层的第1节点和这一层的第0节点相连。  pytorch实现 注：torch.randn(m,n)生成m行n列 ......
梯度及梯度下降
# 梯度下降 我们的目的是找到使预测值最接近真实值的参数，也就是使损失函数最小的参数，即求解损失函数的极值点。于是引入梯度下降的方法，这是被使用最广泛的优化算法。 梯度下降算法是通过一次次的去调整参数，使得损失函数下降到极小值。 ## 什么叫梯度？ 梯度就是下降的方向，它的值为损失函数的偏导数。学习 ......
macbook苹果m1芯片训练机器学习、深度学习模型,resnet101在mnist手写数字识别上做加速，torch.device("mps")
apple的m1芯片比以往cpu芯片在机器学习加速上听说有15倍的提升，也就是可以使用apple mac训练深度学习pytorch模型！！！惊呆了 安装apple m1芯片版本的pytorch 然后使用chatGPT生成一个resnet101的训练代码，这里注意，如果网络特别轻的话是没有加速效果的， ......
梯度降方差/全量数据的近似评估-系列论文小结
问题建模: Model 参数 , 输入 
ImportError: cannot import name 'QuantStub' from 'torch.ao.quantization' (E:\Eprogramfiles\Anaconda3\lib\site-packages\torch\ao\quantization\__init__. ......
安装python torch 遇到的问题
一、解决torch指令安装时Could not find a version that satisfies the requirement xxx (from versions: none) 1.进入torch的wheel下载网站https://download.pytorch.org/whl/to ......
优化算法-从梯度下降到深度学习非凸优化
一、数学优化 1.1 定义 Mathematical Optimization（数学优化）问题，亦称最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。 根据输入变量 𝑿 的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题． 在连续优化问题中，根据是否有变量 ......
工程数学--上机实验四：共轭梯度法程序设计
首先，根据目标函数，我们计算其梯度和海森矩阵： syms x1 x2; f = 100*(x2 - x1^2)^2 + (1 - x1)^2; grad_f = gradient(f, [x1, x2]); grad_f_fun = matlabFunction(grad_f); hes_f = h ......
torch+torchvision+cuda10.2
torch1.12.1 # CUDA 10.2 conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorch # CUDA 10.2 pip install torch ......
torch.scatter
(22条消息) torch.scatter算子详解_leo0308的博客-CSDN博客 了解这个之前需要首先了解dim=0和dim=1的区别 dim=0 dim=1 我们看a 首先a，b是一个3×5的全零矩阵 对a执行scatter操作（将src中的值，按照指定的位置更新到input当中） 0.59 ......
使用model.eval( ) 和 torch.no_grad( )的情况
神经网络每训练1个epoch 会紧接着 evaluate一下，PyTorch提供了model.eval( )和torch.no_grad( )，验证时会使用 model.eval( ) 开启评估模式， 在训练阶段，网络的Dropout 层和BatchNorm 层处于train开启的模式； 在验证阶段 ......
pip安装cuda版torch
一开始安装torch的时候没有指定cuda版本,所以安装的是cpu版本,无法调用gpu 可以使用如下安装方法: pip install torch -f https://download.pytorch.org/whl/cu118/torch_stable.html(应该可以用) pip insta ......
[ML&DL] 线性回归的梯度下降
前言 这篇笔记记录了线性回归的梯度下降相关公式的推导。 符号说明： $h$ ：假设函数，是学习算法对线性回归问题给出的一个解决方案。 $J$ ：代价函数，是对 $h$ 和实际数据集之间的误差的描述。 $m$ ：数据集的大小。 $x^{(i)},y^{(i)}$： 第 $i$ 个数据。（$1\le i ......
torch+torchvision+cuda10.1
torch1.7.1 # CUDA 10.1 pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html ......
机器学习（七）：梯度下降解决分类问题——perceptron感知机算法与SVM支持向量机算法进行二维点分类
实验2 感知机算法与支持向量机算法 一、预备知识 1.感知机算法 二、实验目的 掌握感知机算法的原理及设计； 掌握利用感知机算法解决分类问题。 三、实验内容 设计感知机算法求解， 设计SVM算法求解（可调用函数库），请找出支持向量和决策超平面。 四、操作方法和实验步骤 1.感知机算法求解 采用whi ......
DDP运行报错（单卡无错）：ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1)
使用DDP时出现错误，但是单卡跑无错误。 错误记录如下： RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates ......
图像梯度
图像梯度图像梯度计算的是图像变化的速度 对于图像的边缘部分，其灰度值变化较大，梯度值也较大相反，对于图像中比较平滑的部分，其灰度值变化较小，相应的梯度值也较小。图像梯度计算需要求导数，但是图像梯度一般通过计算像素值的差来得到梯度的近似值（近似导数值）。（差分，离散） Sobel算子 1 #Sobel ......
图片的腐蚀，膨胀，开丶闭运算，梯度计算，礼帽与黑帽
1 腐蚀操作 用于图片的去毛刺，内容削减 1 #腐蚀操作 2 #cv2.erode(src,kernel,iterations) 3 #src是图片数字化数组 4 #kernel则是一个盒，对该盒内的像素进行复试操作，值越小腐蚀能力越狠 5 #iterations是一个迭代次数，就是说你对这个图片进 ......
安装torch报错ERROR: torch has an invalid wheel, .dist-info directory not found
要搭建一篇论文算法的环境，根据yaml文档提供的安装包利用conda进行安装，出现了以上问题，尝试 pip install torch==1.7.0 -f https://download.pytorch.org/whl/torch_stable.html 成功安装 问题原因：之前更换了国内清华源， ......
机器学习的一些基本概念（函数/标准化/梯度下降/正则化）
基本概念 各种函数 损失函数（Loss Function）度量单样本****或者一个批次的样本预测的错误程度，损失函数越小，模型就越好。常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等 代价函数（Cost Function）度量全部样本集的平均误差。常用的代价函数包括均 ......
深度学习--梯度下降再理解+线性回归
深度学习--梯度下降再理解+线性回归 梯度下降 梯度下降的对象是 模型的参数，即 权重w ，偏置项b，通过寻找合适的参数使模型的loss值最小 Loss函数是关于输入，输出，权重，偏置项的函数，即：loss=(y-(wx+b))^2。loss值最小，y与wx+b相似。 个人思考：如果训练的数据量越大 ......
torch.utils.data
Dataset子类 dataset子类用用构建数据集。是一个抽象类，==需要重写__getitem__函数。== 代码示例如下： from torch.utils.data import Dataset from PIL import Image import os class Mydata(Dat ......
python代码：基于DDPG（深度确定性梯度策略）算法的售电公司竞价策略研究
python代码：基于DDPG（深度确定性梯度策略）算法的售电公司竞价策略研究 关键词：DDPG 算法 深度强化学习 电力市场 发电商 竞价 说明文档：完美复现英文文档，可找我看文档 主要内容： 代码主要研究的是多个售电公司的竞标以及报价策略，属于电力市场范畴，目前常用博弈论方法寻求电力市场均衡，但 ......
每日学习记录20230406_bert_and_torch
20230407:tensorflow transformer tf.name_scope: 这个函数会规定对象和操作属于那个范围,但是不会对“对象”的“作用域”产生任何影响,也就是不是全局变和局部变量的概念. 这个东西有很多种用法: with tf.name_scope("loss"): #这个名 ......
拟合高斯函数的梯度下降法例子
高斯函数也是一种常见的函数。拟合它可以通过求对数转换成线性规划问题，从而用最小二乘法拟合。不过为了精确一点，可以用最小二乘法拟合得到初始解之后再用梯度下降法求精。以下是高斯函数的梯度下降法公式推导过程： 高斯函数的形式为： $${y=a \cdot e^{\frac{- \left ( x-b \r ......
：）关于torch函数中dim的解释-读这篇就够了-|
关于torch函数中dim的解释-读这篇就够了 1 dim的取值范围 1）-1的作用 0，1，2，-1. 其中-1 最后一维 即 2 0，1，2，3，-1其中-1 最后一维 即3 2）维度 0，1，2，3表示 BCHW，常在CV任务中使用。 0，1，2 表示 CHW， 常在NLP任务中使用。 3）用 ......
拟合圆的梯度下降法例子
最近研究了一下梯度下降法，所以写了个拟合圆的方法。拟合圆属于非线性拟合。网上的最小二乘法拟合圆公式并不是误差的平方，而是4次方（为了去掉公式里的开方）。一般可以先用网上的公式得到一个初始解，然后再用梯度下降法继续求精。下述代码基于VS2017、Qt5.9和OpenCV430，通过了验证。代码中为了加 ......