设备hello cuda gpu
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
《CUDA编程：基础与实践》读书笔记(5)：统一内存编程
统一内存(unified memory)是一种逻辑上的概念，它既不是显存、也不是主机内存，而是CPU和GPU都可以访问并能保证一致性的虚拟存储器。使用统一内存对硬件有较高的要求： - 对于所有功能，GPU架构都必须不低于Kepler架构，主机应用程序必须为64位。 - 对于一些较新的功能，至少需要P ......
ubuntu20.04 安装 cuda11.8 + cuDNN v8.9.0 (July 11th, 2023), for CUDA 11.x + TensorRT-8.6.1
根据文档：https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-861/install-guide/index.html TensorRT 8.6.1 支持：cuda11.8， cuDNN v8.9.0 ### 1. 安装 c ......
02-表单配置-设备类型和部件管理
示例：设备类型 部件管理 1) 字段：设备类型名称、备注 2) 字段：设备类名、部件名称、权重 1. 创建一个列表页，设备类型 首先在页面设置界面，将列表名称设置为"设备类型" ， 布局设置为列表 然后在列表设计界面，表格配置中选择批量添加，将"设备类型名称"、"备注"字段进行批量添加。 2. 在列 ......
百度人脸识别授权序列号-设备时间复原问题
Q:为什么单设备授权序列号失效?A:以下情况都有可能导致序列号失效，请您进行一-排查 1.测试序列号过期，请在百度智能云管理后台申请更多测试序列号 2.CPU、网卡等硬件损坏导致硬件指纹变更 3.已经激活的设备硬件变更 4.SDK升级:安卓1.0&2.0版本升级至3.0&4.0&5.0版本会导致序列 ......
9.1 字符设备驱动开发
一、字符设备驱动简介 字符设备是 Linux 驱动中最基本的一类设备驱动，字符设备就是一个一个字节，按照字节流进行读写操作的设备，读写数据是分先后顺序的。比如我们最常见的点灯、按键、 IIC、 SPI，LCD 等等都是字符设备，这些设备的驱动就叫做字符设备驱动。 Linux 应用程序对驱动程序的调用 ......
OpenCV 配置CUDA
以openCV4.2配置cuda10.2为例。 【下载】 CUDA Toolkit和cuDNN https://developer.nvidia.com/accelerated-computing-toolkit 1、安装CUDA Toolkit，注意自定义安装，安装下图勾选的即可 下一步后，会让选 ......
CUDA Memcpy的分析
CUDAMemcpy是一种CUDA库中的函数，可以在主机内存和设备内存之间复制数据。本文将从功能、使用方法、性能、优化等多个角度详细介绍CUDAMemcpy。 一、功能 CUDAMemcpy的主要功能是在设备内存和主机内存之间进行数据传输。它可以将主机上的数据发送到GPU上，也可以将GPU上的数据传 ......
CUDA cudaMemcpy函数总结
在使用cuda的时候一定会用到cudaMemcpy这个函数，因为我们就是用它实现数据在CPU与GPU之间的移动，想在GPU端计算就必须要将数据从CPU拷贝到GPU，想要获得GPU的计算结果就必须将结果拷贝回CPU。 但是在使用这个函数的时候对它的第一个参数存在一些疑惑，经过查找资料后做个简单的总结。 ......
OpenCV与CUDA简介
因为算法的需要，正常的CPU算法速度不够需要进行加速，OpenCV中正好加入了GPU计算的模块，OpenCV中有两种GPU的加速方式，一种是通用标准的opencl，另一种是NVIDIA的cuda加速。opencl是苹果公司提出的一种通用标准，多种平台支持的标准。cuda是NVIDIA提出的并行计算平 ......
CUDA 简单程序的基本框架和自定义设备函数
1 cuda程序的基本框架 框架包含： 头文件 常量或者宏定义 C++自定义函数和cuda核函数的原型声明 main函数 C++自定义函数核CUDA核函数的定义实现其中main函数中 1 int main（） 2 { 3 分配主机与设备代码内存 4 初始化主机中的数据 5 将某些数据从主机复制到设备 ......
《CUDA编程：基础与实践》读书笔记(4)：CUDA流
## 1. CUDA流 一个CUDA流指的是由主机发出的在一个设备中执行的CUDA操作序列。除主机端发出的流之外，还有设备端发出的流，但本文不考虑后者。一个CUDA流中的各个操作按照主机发布的次序执行；但来自两个不同CUDA流的操作不一定按照某个次序执行，有可能是并发或者交错地执行。 任何CUDA操 ......
CUDA 编程基础
基于c/c++的编程方法 支持异构编程的扩展方法 简单明了的apis，能够轻松的管理存储系统 cuda支持的编程语言：c/c++/python/fortran/java… 1、CUDA并行计算基础 异构计算 CUDA 安装 CUDA 程序的编写 CUDA 程序编译 利用NVProf查看程序执行情况 ......
Axure 9无法设置移动设备适配的解决方法
虽然Axure9做了很多移动端的适配工作，移动端的设计体验也好了很多，但是只是在PC端预览有移动端的效果，在移动设备上浏览却没有自动适应屏幕的效果，而且也没有设置移动端的适配的入口 而在Axure8中是有这个设置面板的，设置非常方便，如下： 那如何才能设置移动端适配呢，还是有办法的，只是需要稍微做一 ......
字符设备驱动-11.mmap机制-实例分析
#1 mmap驱动要做的事情 确定物理地址 确定属性：是否使用 cache、 buffer 建立映射关系 参考 Linux 驱动源文件代码： ![image](https://img2023.cnblogs.com/blog/1876680/202308/1876680-20230810110006 ......
CUDA 配置环境（二）：Windows10+QT5.14+CUDA11.3+MSVC2017
准备安装QT，参考教程： 安装CUDA11.3 配置环境 与在VS2017中的配置不同，VS2017可以在选项卡中对CUDA的编译调试环境进行配置，而在QT中，这都需要在工程文件.pro中，通过代码来实现。下面介绍如何新建一个可运行CUDA代码的QT工程。 （1）新建一个QT Console App ......
CUDA 配置环境（三）：nvcc fatal : Could not set up the environment for Microsoft Visual Studio using 已解决
解决在QT中编写CUDA程序出现nvcc fatal : Could not set up the environment for Microsoft Visual Studio using的问题问题详情 在QT编写CUDA代码，在已经配好.pro文件中的代码，并且CUDA安装没有问题，还可以在VS ......
CUDA 配置环境（一）：Windowns10+VS2017+CUDA11.3
准备 安装好VS2017和CUDA11.3，这两个软件的安装都很简单，网上也有很多的教程，对于对应的系统环境变量的配置，一般安装成功后，都会自动添加好，只需要按照网上的教程检查一下即可，下面我会给出我个人感觉不错的安装教程。 VS2017安装 CUDA安装 CUDA自带例程（1）首先测试CUDA安装 ......
Qt CUDA混合编程BUG（二）
问题描述（一） QT引用外部库，debug、release均编译通过，但是运行程序时失败，报错提示为：程序异常结束，The process was ended forcefully. 21:44:21: 程序异常结束。 21:44:21: The process was ended forceful ......
非root安装CUDA 11.7
## 下载 CUDA官网找到对应版本 https://developer.nvidia.com/cuda-11-7-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=CentOS&target_version=7&t ......
Qt CUDA混合编程BUG（一）
QT+CUDA混合编程BUG（一）：在QT中进行CUDA编程，CUDA库与其他外部库冲突，debug失败 问题描述 在QT中进行CUDA编程，单独使用CUDA编程时并未出现难以解决的问题，但当我讲CUDA处理的部分，加入已搭建完毕一项较大的QT项目工程时，CUDA的lib库与项目使用到的其他外部li ......
CUDA 安装教程
1 cuda的下载及安装 1.1 查看适合的cuda版本 我电脑上支持的cuda是11.6的 1.2 cuda toolkit下载 https://developer.nvidia.com/cuda-toolkit-archive 进入上述网页，找到适合的cuda 1.3 cuda toolkit安 ......
CUDA 安装（一看就会）
1.背景学习深度学习的话,肯定需要安装PyTorch和TensorFlow,安装这两个深度学习框架之前得安装CUDA.CUDA是什么?CUDA是一个并行计算平台和编程模型，能够使得使用GPU进行通用计算变得简单和优雅。Nvidia官方提供的CUDA 库是一个完整的工具安装包，其中提供了 Nvidia ......
Qt 编写CUDA程序
本文基于的情况是，Qt，CUDA和VS已经安装完成且能够正常运行的情况 1.创建一个空的Qt项目 2.创建一个.cu文件，本文创建的为kernel.cu 内容如下 1 #include "cuda_runtime.h" 2 #include "device_launch_parameters.h" ......
《CUDA编程：基础与实践》读书笔记(3)：同步、协作组、原子函数
## 1. 单指令多线程模式 从硬件上看，一个GPU被分为若干个SM。线程块在执行时将被分配到还没完全占满的SM中，一个线程块不会被分配到不同的SM中，一个SM可以有一个或多个线程块。不同线程块之间可以并发或顺序地执行。当某些线程块完成计算任务后，对应的SM会部分或完全地空闲，然后会有新的线程块被分 ......
llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)
https://blog.csdn.net/Fatfish7/article/details/131925595 先说结论全精度llama2 7B最低显存要求：28GB全精度llama2 13B最低显存要求：52GB全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最 ......
大连人工智能计算平台——华为昇腾AI平台——高性能计算HPC的pytorch源码编译报错——USE_CUDA=OFF——编译好的pytorch不支持CUDA的问题解决
如题： pytorch源码编译报错——USE_CUDA=OFF 在编译pytorch源码的时候发现错误，虽然编译环境中已经安装好CUDA和cudnn，环境变量也都设置好，但是编译好的pytorch包wheel总是在运行torch.cuda.is_available() 显示false，于是从编译源码 ......
字符设备驱动-11.mmap机制
#1 引入mmap 应用程序和驱动程序之间传递数据时，可以通过 read、write 函数进行, 用户态和内核态的数据交互一般用copy_from_user,copy_to_user。这种方式在数据量比较小时没什么问题；但是数据量比较大时效率就太低了。比如更新 LCD 显示时，如果每次都让 APP ......
TSINGSEE青犀视频安防监控视频平台EasyCVR设备在线，视频无法播放的原因排查
TSINGSEE青犀视频EasyCVR监控汇聚平台开放度高、兼容性强，可实现视频直播、录像、回放、检索、云存储、告警上报、语音对讲、H.265自动转码、电子地图、集群以及平台级联等，能支持灵活拓展与第三方集成。平台视频能力丰富，可应用在工地、工厂、校园、社区、楼宇、景区、水利等场景中。 ......