梯度torch
检查torch是否是gpu版本
检查torch是否是gpu版本 1. 查看PyTorch版本： 打开Python交互式环境，导入torch包，使用命令torch.__version__查看PyTorch版本，如果版本名称中包含“cuda”，则表示是GPU版本。 例如，如果版本名称为“1.7.0+cu101”，则是支持CUDA 10 ......
torch和numpy的维度交换方法
Tensor的维度转置方法 在搭建神经网络的时候，经常会遇到需要交换维度的时候，比如将HWCN的Tensor维度顺序变换为NCHW顺序，此时需要用到Tensor的转置方法。 一般有以下三种方法： 1、numpy.transpose 如果Tensor是由np.Array转换而来，那么可以在 ......
机器学习算法原理实现——使用梯度下降求解Lasso回归和岭回归
本文本质上是在线性回归的基础上进行扩展，加入了正则化而已！ 机器学习算法原理实现——使用梯度下降求解线性回归 正则化在机器学习中是一种防止过拟合的技术，它通过在损失函数中添加一个惩罚项来限制模型的复杂度。举一个实际的例子，假设你正在训练一个机器学习模型来预测房价。你有很多特征，如房间数量、地理位置、 ......
利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备
# device_map 以下内容参考 [Huggingface Accelerate文档：超大模型推理方法](https://zhuanlan.zhihu.com/p/606061177) 在 HuggingFace 中有个重要的关键字是 device_map，它可以简单控制模型层部署在哪些硬件上 ......
机器学习算法原理实现——使用交叉熵、梯度下降求解逻辑回归
交叉熵的定义以及和熵的区别？ 交叉熵是衡量两个概率分布之间的差异的一个度量。在机器学习和深度学习中，尤其是分类问题，交叉熵常被用作损失函数。交叉熵度量的是实际分布（标签）与模型预测之间的不一致程度。 这个值越小，模型的预测与真实分布越接近。完美的预测会有交叉熵为0，这是因为模型的预测概率分布与真实概 ......
梯度下降算法入门
提到梯度下降我们知道梯度下降算法是很多机器学习算法、深度学习算法的基础。 首先我们需要明确一些概念什么是梯度： 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。 梯度的数学定义可以看这里[ ......
torch索引需要注意的小细节
1.索引的数据类型必须是int，bool，有时候会出现使用float类型去索引，这个时候会报错提示数据格式不对，这个时候需要检查自己的数据类型 2.加入有个a =tensor([1,2,3]), 当a>1,会取索引tensor([1,2]) ，当a<2,会取索引tensor(0),此时的区别就是：当 ......
torch.nn基础学习教程 | PyTorch nn Basic Tutorial
> 基于`torch.nn`搭建神经网络的基础教程大纲： ## **1. 引言** 在我们开始深入探讨`torch.nn`之前，我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。 ### 1.1 **为什么选择PyTorch？** - * ......
torch和np互相转换
**1.torch转np** ``` # 创建一个形状为[2, 2, 40, 256]的随机张量 torch_tensor = torch.rand(2, 2, 40, 256) # 将张量转换为NumPy数组 numpy_array = torch_tensor.numpy() ``` **2.n ......
torch.argmax()函数-截至2023年8月28日
argmax函数参数dim=0表示从列获取最大值索引，dim=1从行获取最大值索引，dim=-1从最后一个维度获取最大值索引[^argmax参考]。 举例 ```python import torch d = torch.tensor([[9,7,6], [4,8,2], [5,10,0]]) pr ......
torch.sum()用法-截至2023年8月28日
torch.sum()维度0，1，2。比如现在有$3\times\ 2\times3$的张量，理解为3个$2\times3$的矩阵。当dim=0，1，2时分别在哪个维度上相加[^文艺数学君]？下面是具体的矩阵 $$ [1,2,3]\\ [4,5,6]\\\\ [1,2,3] \\ [4,5,6]\\ ......
torch索引使用方式示例
已知b = torch.Tensor([[1],[2]])，请问b[1]和b[[1]]的区别 在 PyTorch 中，b[1] 和 b[[1]] 之间有一个微妙的区别，这涉及到张量的索引和切片操作。让我解释一下两者之间的区别： b[1]：这是使用整数索引来获取张量 b 中的元素。由于 b 是一个形状 ......
解决wsl正确安装torch_sparse、torch_scatter的问题
# 快速解决torch_sparse、torch_scatter安装并正确使用的问题 我们如果直接进行pip install后，会因为pip的机制自动下载最新版本的其他依赖，例如torch等cuda版本。 所以我们需要找到对应自己电脑的cuda版本的模块whl，进行离线安装。 ## 找到对应版本 打 ......
ModuleNotFoundError: No module named 'torch._six'
ModuleNotFoundError: No module named 'torch._six' 由于torch 2.0版本没有这个模块，因此，只需要降低torch版本，就可以解决。 1）新建一个虚拟环境 2）安装低版本torch REF https://blog.csdn.net/wzwddkb ......
win10 CUDA11.1安装torch1.9 / reformer_pytorch
# 环境 - NVIDIA-SMI 457.52 - Driver Version: 457.52 - CUDA Version: 11.1 # 安装torch-gpu 1. `conda create -n torch1.9 python=3.8` 2. `pip install torch==1 ......
Torch计算指标-ACC、Recall、Precision、NDCG、HR、ARHR
Calculating Binary Classification Metrics (Accuracy, Recall, Precision, F1, DCG, NDCG, HR, ARHR) for Batched Data using Torch - Input: pred -> [B, N], ......
梯度消失
产生原因 激活函数采用sigmod或双曲正切函数时输入过大或则过小会导致其梯度接近于0 解决方案 采用Relu函数 输入数据归一化(批归一化)是所有输入数据落在梯度不为0的区间 合适的权值初始化策略 ......
torch基础操作汇总(常更新)
已知一个torch tensor[2,4,5,6],要取其中对应的索引位置(2,3),怎么操作 你可以使用 PyTorch 的索引操作来从给定的张量中提取特定索引位置的元素。在你提供的示例中，张量是 [2, 4, 5, 6]，你希望提取的索引位置是 (2, 3)。以下是如何进行操作： import ......
“梯度下降法”的原理
梯度下降法是一个用于优化多变量函数的迭代方法。在深度学习和机器学习中，通常用它来优化损失函数，从而找到一个模型的最优参数。 以下是梯度下降法的原理详解： 1. **目标**：我们的目标是找到函数\(f(\theta)\)的最小值，其中\(\theta\)是一个参数向量。在机器学习中，这个函数通常是损 ......
torch tensor,boxes[:][:2] -= boxes[:][:2]/2 报错
因为在 PyTorch 中进行切片操作时，不支持使用 `[:][:2]` 的方式进行多次切片。正确的方式是将两次切片操作合并成一次。在你的代码中，你可能想要对所有的 boxes 进行操作，对每个 box 的前两个元素进行减法操作。 以下是正确的代码示例： ```python import torch ......
ITK 实例7 MHA格式文件进行带滤波三维的梯度强度提取
1 #include "itkImageFileReader.h" 2 #include "itkImageFileWriter.h" 3 #include "itkRescaleIntensityImageFilter.h" 4 #include "itkGradientMagnitudeRecu ......
ITK 实例6 PNG图像进行带滤波的二维梯度强度提取
微分是对一个数字数据的不规则操作。实际中可以方便地定义一个执行微分的比例。在执行这样的滤波时使用一个高斯核被认为是最便捷的选择。通过选择一个特定的高斯标准差(σ) ，就可以选择一个相应的比例来去除通常被认为是噪声的高频部分。 itk::GradientMagnitudeRecursiveGaussi ......
ITK 实例5 PNG图像进行不带滤波的二维梯度强度提取
图像梯度的强度广泛地应用在图像分析中，主要用来帮助检测对象轮廓和分离均匀区域。 itk::GradientMagnitudeImageFilter 使用一个简单的有限差分方式来计算图像中每个像素位置的梯度强度。例如：在二维情况下计算等同于将图像使用模块类型，如下所示：然后计算它们的平方和并计算和的平 ......
模型超参数基本都没改，测试时加载模型报模型结构不匹配，设置模糊加载模型即：model.load_state_dict(torch.load(model_path), strict=Fasle)，但效果出奇的差
# 原因 跑模型的时候，用的是多卡加载torch.nn.DataParallel(self.model)，测试是用的单卡模糊加载保存的模型权重，很多模型参数都没有加载成功，自然会导致测试效果很差。 # 解决方法 ` # 如果你想要用nn.DataParallel来加载模型 state_dict = ......
VTK 实例37：梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
VTK 实例38：Sobel梯度算子（边缘检测）
1 #include "vtkAutoInit.h" 2 VTK_MODULE_INIT(vtkRenderingOpenGL2); 3 VTK_MODULE_INIT(vtkInteractionStyle); 4 5 #include <vtkSmartPointer.h> 6 #include ......
torch.cat()
要将一个大小为(2, 2)的PyTorch张量和一个大小为(1, 2)的张量拼接在一起，以形成一个新的大小为(3, 2)的张量，你可以使用PyTorch库中的torch.cat()函数。以下是一个示例代码： import torch # 假设你有一个大小为(2, 2)的张量 tensor1 和一个大 ......
【RL】第6课-随机近似与随机梯度下降-
第6课-随机近似与随机梯度下降 ## 6.1 Motivating examples ## Mean Estimation Revisit the mean estimation problem: - Consider a random variable $X$. - Our aim is to e ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......