pagelocked memory cuda
记一次服务器Cuda驱动崩溃修复过程
基本过程 今天实验室师兄在服务器运行深度学习训练时候得到报错CUDA initialization: Unexpected error from cudaGetDeviceCount()疑似Cuda与NVIDIA显卡驱动沟通中出现了问题，使用nvidia-smi指令时提示Failed to init ......
cuda visual studio integration vs2017安装失败
版本不匹配？还是之前安装了旧的nvidia程序？ 参考1：https://zhuanlan.zhihu.com/p/150579521?utm_id=0 参考2：https://blog.csdn.net/qq_40963335/article/details/104907922 ......
安装多个cuda并进行自由切换
参考：https://www.cnblogs.com/smileglaze/p/16826946.html cd /usr/local 画红线的就是cuda本体，有两个版本。 （上面两个是软链接，会链接到cuda本体（具体链接到哪一个需要自己检查以下），cuda软链接可以留着，cuda-12软链接暂 ......
【地表最强】深度学习环境配置攻略 | 【nvidia-driver】, 【cuda toolkit】, 【cudnn】, 【pytorch】
更新截止到 2023.10.16 1.要素： linux（ubuntu 22.04） nvidia-driver（也叫做 cuda driver）：英伟达GPU驱动，命令：nvidia-smi cuda (也叫做 cuda toolkit): 这个必须有。CUDA是NVIDIA创建的一个并行计算平台 ......
RuntimeError: Attempting to deserialize object on CUDA device 1 but torch.cuda.device_count() is 1.
问题：服务器上多块卡，使用其中一张训练的模型，在本地预测的时候报错。 解决：在torch.load中加入map_location，指定一块卡 ......
ATen/cuda/CUDAContext.h: No such file or directory缺少这个文件
报错：(FlowGANCUDA10.0) lww@r750:~/projects/FlowGAN-main/FlowGAN-main/lib/metrics/pytorch_structural_losses$ makeTraceback (most recent call last): File ......
安装NVIDIA，CUDA, cuDNN的个人笔记
安装nvdian： sudo chmod +x NVIDIA-Linux-X86_64-440.100.run sudo ./NVIDIA-Linux-X86_64-440.100.run -no-x-check 在后面加上不对Xserver进行检查的命令（红色）就可以安装成功！ 查看INVIDIA ......
Linux安装cuda和cudnn教程
https://blog.csdn.net/qq_34848334/article/details/131015697?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169708238516800192266848%2522%252C ......
Linux系统CUDA安装及踩坑记录
https://zhuanlan.zhihu.com/p/501473091 我的Linux系统背景： 系统和驱动都已安装。 系统是centos 8。查看自己操作系统的版本信息：cat /etc/issue或者是 cat /etc/lsb-release 用nvidia-smi可以看到显卡驱动和可支 ......
Linux （Ubuntu）安装 cuda 11.7
使用的Linux系统为 Ubuntu 18.04，显卡为GeForce RTX 3060 ，驱动版本号为515.57，安装CUDA 11.7。 第一步：查看显卡是否正常，显示如下则表示没有问题。（版本要对应正确） 命令： lspci|grep NVIDIA 第二步：选择下载对应的CUDA包，官网地址 ......
CUDA/cudnn/CUDA Toolkit/NVCC区别简介
CUDA：为“GPU通用计算”构建的运算平台。 cudnn：为深度学习计算设计的软件库。 CUDA Toolkit (nvidia)： CUDA完整的工具安装包，其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等， ......
cuda 多版本切换
https://developer.nvidia.com/rdp/cudnn-download cuda 多版本切换在安装了多个版本的cuda之后可以在/usr/local下看到已安装的多个版本，如：cuda-8.0 cuda-10.0等。还会看到一个名为cuda的文 ......
查看 CUDA 版本 正确方法（亲测有效）
一、正确方法：打开cmd，输入 nvcc --version 二、错误方法： 1.cmd输入，以下 nvidia-smi 这个方法不对，这里的11.2 指的是可驱动的最高版本。下载CUDA的版本应低于11.2。 https://blog.csdn.net/baidu_30506559/article ......
搭建Pytorch2.1+CUDA12.1+Anaconda+Pycharm深度学习环境
环境： Win11 22H2 需要的安装包： Anaconda3-2021.05-Windows-x86_64.exe Python 3.11. pycharm-professional-2021.2.1.exe CUDA12.1与CUDNN V8.9.5 pytorch 2.1 选择性安装Open ......
深度学习（判断cuda是否可用）
安装完pytorch、cuda和cudnn之后，可以先判断是否可用。 import torch print('CUDA版本:',torch.version.cuda) print('Pytorch版本:',torch.__version__) print('显卡是否可用:','可用' if(torc ......
CUDA C编程权威指南：2.2-给核函数计时
本文主要通过例子介绍了如何给核函数计时的思路和实现。实现例子代码参考文献[7]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.用CPU计时器计时(sumArraysOnGPU-timer.cu)[7] 在主函数中用CPU计时器测试向量加法的核函数 ......
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线 上节谈到使用TRT-API来构建网络，在这一节中总结一些trick来提升模型的运行效率，这些trick在所有的trt优化中均可使用，主要有以下几点： 使用cuda_graph减少kernel间的 ......
CUDA C编程权威指南：2.1-CUDA编程模型
本文主要通过例子介绍了CUDA异构编程模型，需要说明的是Grid、Block和Thread都是逻辑结构，不是物理结构。实现例子代码参考文献[2]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.Grid、Block和Thread间的关系 GPU中最 ......
CUDA_ERROR_OUT_OF_MEMORY: out of memory
2023-02-04 22:17:02.457962: I tensorflow/stream_executor/cuda/cuda_driver.cc:831] failed to allocate 152.00M (159383552 bytes) from device: CUDA_ERROR ......
GPT之路(九) LangChain - Memory
记忆封装 - Memory (langchain memory) Memory：这里不是物理内存，从文本的角度，可以理解为“上文”、“历史记录”或者说“记忆力”的管理 ConversationBufferMemory可也用来保留会话信息 In [ ]: from langchain.memory i ......
CUDA C编程权威指南：1-基于CUDA的异构并行计算
什么是CUDA？CUDA（Compute Unified Device Architecture,统一计算设备架构）是NVIDIA（英伟达）提出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型及并行计算。什么是异构计算？这里的异构主要指的是主机端的CPU和设备端的GPU，CPU更擅长逻 ......
CUDA C编程权威指南：1.1-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA（Compute Unified Device Architecture，统一计算设 ......
CUDA C编程权威指南：1.2-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描 对于一个二元运算符和一个元输入数组。如果返回输出数组为，那么是闭扫描；如果返回输出数组为，那么是开扫描。串行闭扫描算法， ......
CUDA C编程权威指南：1.3-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA数组 解析：CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的，使用cudaFr ......
ubuntu20.04 将 max locked memory从默认的65536改为无限制
RDMA开发中，需要注册Memory Rigon，需要比较大的内存区域，如果不把Ubuntu20.04系统默认的max locked memory从默认的65536改为unlimited，将会报出这个错误:Couldn't allocate MR 解决办法如下(感谢chatGPT老师哈哈) To s ......
Torch not compiled with Cuda enabled 解决办法
确保下方指令运行有效： nvcc --version 进入指定虚拟环境下运行下方指令： conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch 参考来源 ......
CUDA矩阵乘法算法分析
CUDA矩阵乘法算法分析 矩阵乘法是科学计算的基本构建块。此外，矩阵乘法的算法模式具有代表性。许多其他算法与矩阵乘法共享类似的优化技术。因此，矩阵乘法是学习并行编程中最重要的例子之一。 CUDA 矩阵乘法的源代码可在 gitlab 上找到。建议使用 git 获取源代码，它允许提取可能提供的任何更新， ......
Apex的Cuda版本与Pytorch的Cuda版本不匹配（无root权限）
摘要 （这个年代了谁还用apex啊！Pytorch自带的不好用吗？说的就是你，Megatron！） 要解决这个问题，我们需要安装和Pytorch版本一直的cuda。然后再安装apex。 这里简单说下步骤： 下载cuda的安装程序，然后安装在无需root权限的目录。 下载cudnn，把一些文件移到cu ......
Ubuntu22.04安装AMBER22-串行+Cuda+并行版
本人新采购了一台DELL工作站，准备作为计算平台。最近又听说AMBER22学术免费了，于是尝试在工作站上安装。 安装过程主要参考的是Amber22的手册， * 安装环境：Ubuntu 22.04.3 LTS，RTX 4090，【gcc，g++，gfortran】10.5.0，CUDA 11.2，cm ......