cuda
Linux安装cuda和cudnn教程
https://blog.csdn.net/qq_34848334/article/details/131015697?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169708238516800192266848%2522%252C ......
Linux系统CUDA安装及踩坑记录
https://zhuanlan.zhihu.com/p/501473091 我的Linux系统背景： 系统和驱动都已安装。 系统是centos 8。查看自己操作系统的版本信息：cat /etc/issue或者是 cat /etc/lsb-release 用nvidia-smi可以看到显卡驱动和可支 ......
Linux （Ubuntu）安装 cuda 11.7
使用的Linux系统为 Ubuntu 18.04，显卡为GeForce RTX 3060 ，驱动版本号为515.57，安装CUDA 11.7。 第一步：查看显卡是否正常，显示如下则表示没有问题。（版本要对应正确） 命令： lspci|grep NVIDIA 第二步：选择下载对应的CUDA包，官网地址 ......
CUDA/cudnn/CUDA Toolkit/NVCC区别简介
CUDA：为“GPU通用计算”构建的运算平台。 cudnn：为深度学习计算设计的软件库。 CUDA Toolkit (nvidia)： CUDA完整的工具安装包，其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等， ......
cuda 多版本切换
https://developer.nvidia.com/rdp/cudnn-download cuda 多版本切换在安装了多个版本的cuda之后可以在/usr/local下看到已安装的多个版本，如：cuda-8.0 cuda-10.0等。还会看到一个名为cuda的文 ......
查看 CUDA 版本 正确方法（亲测有效）
一、正确方法：打开cmd，输入 nvcc --version 二、错误方法： 1.cmd输入，以下 nvidia-smi 这个方法不对，这里的11.2 指的是可驱动的最高版本。下载CUDA的版本应低于11.2。 https://blog.csdn.net/baidu_30506559/article ......
搭建Pytorch2.1+CUDA12.1+Anaconda+Pycharm深度学习环境
环境： Win11 22H2 需要的安装包： Anaconda3-2021.05-Windows-x86_64.exe Python 3.11. pycharm-professional-2021.2.1.exe CUDA12.1与CUDNN V8.9.5 pytorch 2.1 选择性安装Open ......
深度学习（判断cuda是否可用）
安装完pytorch、cuda和cudnn之后，可以先判断是否可用。 import torch print('CUDA版本:',torch.version.cuda) print('Pytorch版本:',torch.__version__) print('显卡是否可用:','可用' if(torc ......
CUDA C编程权威指南：2.2-给核函数计时
本文主要通过例子介绍了如何给核函数计时的思路和实现。实现例子代码参考文献[7]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.用CPU计时器计时(sumArraysOnGPU-timer.cu)[7] 在主函数中用CPU计时器测试向量加法的核函数 ......
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线
ControlNet-trt优化总结3：使用multi-stream和cuda-graph构建并行流水线 上节谈到使用TRT-API来构建网络，在这一节中总结一些trick来提升模型的运行效率，这些trick在所有的trt优化中均可使用，主要有以下几点： 使用cuda_graph减少kernel间的 ......
CUDA C编程权威指南：2.1-CUDA编程模型
本文主要通过例子介绍了CUDA异构编程模型，需要说明的是Grid、Block和Thread都是逻辑结构，不是物理结构。实现例子代码参考文献[2]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.Grid、Block和Thread间的关系 GPU中最 ......
CUDA_ERROR_OUT_OF_MEMORY: out of memory
2023-02-04 22:17:02.457962: I tensorflow/stream_executor/cuda/cuda_driver.cc:831] failed to allocate 152.00M (159383552 bytes) from device: CUDA_ERROR ......
CUDA C编程权威指南：1-基于CUDA的异构并行计算
什么是CUDA？CUDA（Compute Unified Device Architecture,统一计算设备架构）是NVIDIA（英伟达）提出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型及并行计算。什么是异构计算？这里的异构主要指的是主机端的CPU和设备端的GPU，CPU更擅长逻 ......
CUDA C编程权威指南：1.1-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA（Compute Unified Device Architecture，统一计算设 ......
CUDA C编程权威指南：1.2-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描 对于一个二元运算符和一个元输入数组。如果返回输出数组为，那么是闭扫描；如果返回输出数组为，那么是开扫描。串行闭扫描算法， ......
CUDA C编程权威指南：1.3-CUDA基础知识点梳理
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA数组 解析：CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的，使用cudaFr ......
Torch not compiled with Cuda enabled 解决办法
确保下方指令运行有效： nvcc --version 进入指定虚拟环境下运行下方指令： conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch 参考来源 ......
CUDA矩阵乘法算法分析
CUDA矩阵乘法算法分析 矩阵乘法是科学计算的基本构建块。此外，矩阵乘法的算法模式具有代表性。许多其他算法与矩阵乘法共享类似的优化技术。因此，矩阵乘法是学习并行编程中最重要的例子之一。 CUDA 矩阵乘法的源代码可在 gitlab 上找到。建议使用 git 获取源代码，它允许提取可能提供的任何更新， ......
Apex的Cuda版本与Pytorch的Cuda版本不匹配（无root权限）
摘要 （这个年代了谁还用apex啊！Pytorch自带的不好用吗？说的就是你，Megatron！） 要解决这个问题，我们需要安装和Pytorch版本一直的cuda。然后再安装apex。 这里简单说下步骤： 下载cuda的安装程序，然后安装在无需root权限的目录。 下载cudnn，把一些文件移到cu ......
Ubuntu22.04安装AMBER22-串行+Cuda+并行版
本人新采购了一台DELL工作站，准备作为计算平台。最近又听说AMBER22学术免费了，于是尝试在工作站上安装。 安装过程主要参考的是Amber22的手册， * 安装环境：Ubuntu 22.04.3 LTS，RTX 4090，【gcc，g++，gfortran】10.5.0，CUDA 11.2，cm ......
深度学习|如何确定 CUDA+PyTorch 版本
对于深度学习初学者来说，配置深度学习的环境可能是一大难题，因此本文主要讲解CUDA; cuDNN; Pytorch 三者是什么，以及他们之间的依赖关系。 CUDA CUDA（Compute Unified Device Architecture）是由NVIDIA开发的用于并行计算的平台和编程模型。C ......
CUDA、CUDNN 安装
1. CUDA CUDA 是 NVIDIA 发明的一种并行计算平台和编程模型。它通过利用图形处理器 (GPU) 的处理能力，可大幅提升计算性能。 官方地址 https://developer.nvidia.com/cuda-toolkit-archive 2. CUDNN NVIDIACUDA®深度 ......
win11+cuda+cudnn+tensorflow-gpu配置
本文参考： https://www.cnblogs.com/LandWind/p/win11-cuda-cudnn-Tensorflow-GPU-env-start.html https://blog.csdn.net/qq_30277973/article/details/130566321 前置 ......
Ubuntu安装CUDA Driver（显卡驱动）
方法如链接 https://blog.csdn.net/qq_34972053/article/details/126707938 —————————————————————————————— 显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么？ htt ......
安装cuda Toolkit
材料准备 CUDA Toolkit 比如，我需要CUDA Toolkit 11.8.0，则点击这个CUDA Toolkit 11.8.0 点击CUDA Toolkit 11.8.0的链接后，需要等待一段时间，如下图的内容Select Target Platform需要很长时间才加载完成 建议选择ru ......
服务器Docker搭建CUDA10.2+PaddleDetection2.4.2-GPU环境
1、容器建立 由于目标服务器的显卡版本较老，CUDA只支持到10.2，所以需要选用老版本Docker镜像，百度网盘链接：https://pan.baidu.com/s/1GiQzWRypaeBNFWETWFAV-Q?pwd=5f12 使用命令将镜像启动为容器： docker run --name n ......
CUDA和cudatoolkit
【https://blog.csdn.net/qq_39929304/article/details/114264400】 CUDA：一个并行计算平台和编程模型 1. Linux x86_64 Driver Version：包含随驱动安装的driver API [nvidia-smi显示的CUDA版 ......
搭建CUDA、CUDNN、Pytorch环境（Windows10/11）
摘要：搭建Windows系统下Cuda+CUDNN环境，注意C盘一定要大，建议1T+SSD 参考： https://blog.csdn.net/weixin_61164016/article/details/127564466 https://blog.csdn.net/qq_43308156/ar ......
CUDA memories
Global There's a large amount of global memory. It's slower to access than other memory like shared and registers. All running threads can read and wr ......