cudnn torch cuda
import torch_geometric报错Could not find module '...\torch_sparse\_convert_cpu.pyd' (or one of its dependencies). Try using the full path with constructor syntax.
按照官网步骤安装完torch-scatter、torch-sparse、torch-cluster和torch-spline-conv等依赖项，也成功安装了torch_geometric，但在导入的时候还是报错： 原因是没有C++环境，在该网址中https://visualstudio.micros ......
torch交叉熵损失
torch交叉熵损失 目录torch交叉熵损失熵的理解相对熵交叉熵交叉熵损失函数实现和应用numpy实现pytorch实现torch实现pytorch等价实现参考资料 交叉熵其实就是运用了熵的概念先把模型转化为熵的数值然后用数值去比较模型之间的差异。 熵的理解 熵代表了信息量的多少，或者数据的混乱程 ......
调用gpu/cuda常见问题
调用gpu/cuda常见问题 1 、cuda out of memory 1）先查询nvidia-smi 确保gpu未占用 2）调用.cuda()方法前，确保你的系统中有可用的GPU，并且已经安装了适当的GPU驱动和CUDA工具包。否则，将会引发错误。 3) 使用这种方法可以正常使用 util是 g ......
libtorch+cuda12编译失败，Failed to find nvToolsExt
参考链接：Failed to find nvToolsExt - C++ - PyTorch Forums 即在安装了cuda12后再下载cuda11的安装包，并且只选择如图组件。 ......
升级显卡驱动，下载cuda和cudann 12.0后，安装pytorch
1、重新创建虚拟环境 2、查找pytorch版本 安装Pytorch如何选择CUDA的版本，看这一篇就够了 - 知乎 (zhihu.com) Previous PyTorch Versions | PyTorch 安装支持CUDA 12的pytorch教程 - 知乎 (zhihu.com) 于是： ......
cuda安装记录
1、显卡驱动程序更新 2、安装cuda https://developer.nvidia.com/cuda-toolkit-archive 3、安装cudann 重启电脑 cuDNN Archive | NVIDIA Developer ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
【转载】CUDA编程学习记录 C++
参考 Yuezero 的 CUDA编程基础（https://blog.csdn.net/weixin_54338498/article/details/127947551） CUDA 编程模型 host 指代 CPU及其内存，包含host程序 device 指代 GPU及其内存，包含device程序 ......
Tensorflow2.X+cuda+cudnn配置指南（RTX4060+win11+Anaconda3）
【背景】 前段时间要做一个python语音识别模型，需要tf进行训练，考虑到有GPU就不用限制在CPU上了，所以尝试配置Tensorflow. 系统配置为： RTX4060+win11+Anaconda3，使用python3.10配置完成。 【补充建议：使用虚拟环境进行版本管理，我用anaconda ......
torch使用bool类型做检索
一、背景 在使用torch的时候，可以通过bool类型对数组进行检索操作。传统的list或者dict都是使用下标和关键字检索。而在torch中可以使用bool类型进行检索，它的的目标主要是以下功能： 替换torch中的某个值 二、使用 torch在bool检索的情况下就是将为检索位置为True的地方 ......
nn.Embedding torch.nn.Embedding
nn.Embedding torch.nn.Embedding 随机初始化词向量矩阵：这种方式很容易理解，就是使用self.embedding = torch.nn.Embedding(vocab_size, embed_dim)命令直接随机生成个初始化的词向量矩阵，此时的向量值符合正态分布N(0, ......
cuda vectorized实现矩阵转秩
使用了共享内存和向量化传输，目前为止效果最好的一个实现 __global__ void transposeSmemVec(float* input, float* output, const int X, const int Y){ __shared__ float smem[32 * 4 * 32 ......
RuntimeError: “nll_loss_forward_reduce_cuda_kernel_2d_index“ not implemented for ‘Int‘
RuntimeError: "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Int' Traceback (most recent call last): File "E:/MyWorkspace/EEG/Pyt ......
【GPU】cuda(伪)编程学习
一、编程模型 主机(host)-设备(device)模型：xxxx编程模型使开发人员能够在包含cpu和gpu的异构计算机系统上编写和执行程序； 核函数：从主机启动并在gpu设备上执行的函数成为核函数，是xxxx编程模型的关键组件，在设备内从空间中运行； 线程层次结构：xxxx采用Grid-Workg ......
Anaconda-cuda toolkit-cudnn-torch-torchvision安装
1.Anaconda安装 进入清华镜像网下载：清华大学开源软件镜像站 | Tsinghua Open Source Mirror 1.通过搜索框找到Anaconda 2.点击archive 3.找到与操作系统匹配以及所需的anaconda版本进行下载 4.另存到D盘 5.双击进行安装 6.配置环境变 ......
windows的深度学习环境软件版本（cuda/cudnn/pytorch）
恢复内容开始 为了方便多个深度学习框架的环境配置，推荐使用anoconda进行搭建。 CUDA Toolkit Archive | NVIDIA Developer 恢复内容结束 ......
记一次服务器Cuda驱动崩溃修复过程
基本过程 今天实验室师兄在服务器运行深度学习训练时候得到报错CUDA initialization: Unexpected error from cudaGetDeviceCount()疑似Cuda与NVIDIA显卡驱动沟通中出现了问题，使用nvidia-smi指令时提示Failed to init ......
[swin-trans]分布式训练的debug：ValueError: Error initializing torch.distributed using env:// rendezvous: en
在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现 1、ValueError: Error initializing to ......
cuda visual studio integration vs2017安装失败
版本不匹配？还是之前安装了旧的nvidia程序？ 参考1：https://zhuanlan.zhihu.com/p/150579521?utm_id=0 参考2：https://blog.csdn.net/qq_40963335/article/details/104907922 ......
安装多个cuda并进行自由切换
参考：https://www.cnblogs.com/smileglaze/p/16826946.html cd /usr/local 画红线的就是cuda本体，有两个版本。 （上面两个是软链接，会链接到cuda本体（具体链接到哪一个需要自己检查以下），cuda软链接可以留着，cuda-12软链接暂 ......
cuDNN安装过程记录
参考博客： https://blog.csdn.net/tangjiahao10/article/details/125227005?spm=1001.2014.3001.5501 https://www.cnblogs.com/smileglaze/p/16826946.html 现有环境： nv ......
【地表最强】深度学习环境配置攻略 | 【nvidia-driver】, 【cuda toolkit】, 【cudnn】, 【pytorch】
更新截止到 2023.10.16 1.要素： linux（ubuntu 22.04） nvidia-driver（也叫做 cuda driver）：英伟达GPU驱动，命令：nvidia-smi cuda (也叫做 cuda toolkit): 这个必须有。CUDA是NVIDIA创建的一个并行计算平台 ......
RuntimeError: Attempting to deserialize object on CUDA device 1 but torch.cuda.device_count() is 1.
问题：服务器上多块卡，使用其中一张训练的模型，在本地预测的时候报错。 解决：在torch.load中加入map_location，指定一块卡 ......
ATen/cuda/CUDAContext.h: No such file or directory缺少这个文件
报错：(FlowGANCUDA10.0) lww@r750:~/projects/FlowGAN-main/FlowGAN-main/lib/metrics/pytorch_structural_losses$ makeTraceback (most recent call last): File ......
安装NVIDIA，CUDA, cuDNN的个人笔记
安装nvdian： sudo chmod +x NVIDIA-Linux-X86_64-440.100.run sudo ./NVIDIA-Linux-X86_64-440.100.run -no-x-check 在后面加上不对Xserver进行检查的命令（红色）就可以安装成功！ 查看INVIDIA ......
Linux安装cuda和cudnn教程
https://blog.csdn.net/qq_34848334/article/details/131015697?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169708238516800192266848%2522%252C ......
Linux系统CUDA安装及踩坑记录
https://zhuanlan.zhihu.com/p/501473091 我的Linux系统背景： 系统和驱动都已安装。 系统是centos 8。查看自己操作系统的版本信息：cat /etc/issue或者是 cat /etc/lsb-release 用nvidia-smi可以看到显卡驱动和可支 ......
Linux （Ubuntu）安装 cuda 11.7
使用的Linux系统为 Ubuntu 18.04，显卡为GeForce RTX 3060 ，驱动版本号为515.57，安装CUDA 11.7。 第一步：查看显卡是否正常，显示如下则表示没有问题。（版本要对应正确） 命令： lspci|grep NVIDIA 第二步：选择下载对应的CUDA包，官网地址 ......
深度学习（cudnn加速）
cudnn为网络每一卷积层选最优实现方法，加速网络训练。 设置如下： torch.backends.cudnn.benchmark = True 加速条件如下： 1. 输入数据在训练过程中一般不变化。 2. 数据量较大，并可以同时加载到GPU内存中。 3. 训练次数比较多。 ......