tensorflow-gpu tensorflow cudnn cuda
MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试
如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。 最近在PyTorch 1.12中引入MPS后端已经是一个大胆的步骤，但随着MLX的宣布，苹果还想在开源深度学习方面有更大的发展。 在本文中， ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
基于Tensorflow技术开发的计算机毕业设计辅助生成器（使用AI大模型技术）
这是一个辅助生成计算机毕业设计的工具，可以自动完成毕业设计的源码。它基于几百个github上面开源的java和python项目，运用tensorflow技术，训练出了AI大模型。基本实现了计算机毕业设计生成器，能够初步生成Java或python基本源码。目前该项目处理实验阶段，还不成熟，成功率55% ......
安装 deepspeed 报错 | 【CUDA_HOME does not exist, unable to compile CUDA op(s)】
原因是因为 deepspeed 需要安装 cuda toolkit (runtime cuda), 不能使用 torch 内置的 cuda toolkit。 安装完成之后使用 nvcc -V， 输出版本则证明安装cuda toolkit 成功。 参考：[https://github.com/micr ......
Linux CentOS安装CUDA
查看CUDA版本 nvidia-smi 一、卸载显卡驱动 sh cuda_11.3.1_465.19.01_linux.run --uninstall 二、下载显卡驱动 ⚠️注意：建议不提前安装显卡驱动，通过cuda统一进行安装，以防版本问题！ 首先确定GPU服务器类型，驱动下载地址 三、下载CUD ......
一句话解决加载模型时的CUDA out of memory
在加载模型一行后加上max_memory即可，超出显存后会自动移到内存。 model = AutoModel.from_pretrained('your_model', trust_remote_code=True, max_memory={0: "6GiB", "cpu": "10GiB"}) 记 ......
cuda编程的简单案例
一个简单的案例： header.h void addKernel(const int* a, const int* b, int* c, int size); test.cu #include "cuda_runtime.h" #include "device_launch_parameters.h ......
windows安装tensorflow-gpu / CUDA / cuDNN
最终安装内容：windows10 + 3060显卡 + tensorflow-gpu 2.10.0 + CUDA 11.2 + cuDNN 8.1 1. 命令行输入nvidia-smi，查看显卡对应的cuda版本。如下图，CUDA Version为12.1，则安装的CUDA版本不能高于12.1。 2 ......
TensorFlow GPU支持
Compute Capability > 3.5 NVIDIA 驱动版本 > 450.0.20 查看驱动版本 nvidia-smi ......
C++代码cuda版本的opencv实现图片BGR转RGB-HWC转CHW
前几天聊天的时候，有人疑问无法实现这种转换，因为原先实践过的缘故，就把解决方案写下 int Detect::dataProcess(unsigned char *img_ptr, int h, int w){ img = cv::Mat(h, w, CV_8UC3, img_ptr); cuda:: ......
使用ubuntu根据cuda11.2安装pytorch
在使用镜像新建了一个cuda11.2-python3.9 容器配置环境的过程中需要安装PyTorch。一开始我直接使用 pip install torch 来进行安装，但是运行程序时出现报错： RuntimeError: The NVIDIA driver on your system is too ......
Linux安装cuda环境
安装cuda驱动时 需要先卸载开源的cuda驱动 参看是否安装了开源驱动nouveau lsmod | grep nouveau 关闭 cat <<EOF | sudo tee /etc/modprobe.d/blacklist-nouveau.conf blacklist nouveau opti ......
写cuda程序bug调通以后记得不要用gdb编译代码！
一次并行与分布式计算的作业编写cuda程序使用 shared memory 进行优化，写出来的代码有错误，然后边开启了gdb调试，用 -G -g 选项编译。 结果后面使用 __shared__ 优化后跑出来竟然还没有不用跑出来快 急得我甚至都把PPT上的代码抄上去还是很寄 最后把 Makefile ......
人工智能学习二、tensorflow快速入门
一、项目流程 数据预处理-》模型训练-》模型保存-》模型预测 二、要点： 数据类型 运行机制 数据IO 模型训练 模型保存 模型调用 三、编写tensorflow的两个步骤： （1）构建计算图graph graph中包含tensor和operation tensor:类型化的多维数组 operati ......
人工智能学习一、使用miniconda安装tensorflow
1、conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls yes 用户目录底下找到 .condarc 文件，打 ......
OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......
问题描述： OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......，如下图所示： 解决办法： 如果 ......
Keras 3.0正式发布：可用于TensorFlow、JAX和PyTorch
前言 Keras 3.0正式发布：可用于TensorFlow、JAX和PyTorch 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】 ......
conda环境下Python报错：raise MissingCUDAException("CUDA_HOME does not exist, unable to compile CUDA op(s)") CUDA_HOME does not exist, unable to compile CUDA op(s)
conda环境下Python报错： (pytorch) devil@Monster:~$ pip install deepspeed Collecting deepspeed Using cached deepspeed-0.12.4.tar.gz (1.2 MB) Preparing metada ......
TensorFlow-深度学习预训练模型的使用方法讲解（TensorFlow-Explanation on how to use deep learning pre-trained models）
在运用深度学习模型时，掌握运用预训练模型的方法是必不可少的一步。为什么要使用与训练的模型，原因归纳如下： （1）使用大量高质量的数据（如 ImageNet 是普林斯顿大学与斯坦福大学所主导的项目）又加上设计较复杂的模型结构（如ResNet模型高达150层）设计出来的模型，准确率会大大提高。 （2）可 ......
Windows10 下 CUDA 新旧多版本共存
前言 为了运行一个 Tensorflow1.6.0 的项目，CPU 跑了三个多小时才完成一个 epoch，还得用 GPU。但这个版本的 TF 只能在 10 以下的 CUDA 平台，但是以前的 Pytorch 也要继续啊。所以需要在本地 Windows 下安装多个版本 CUDA，其实有两种方式让 CU ......
torch.cuda
什么时候需要将计算放置再gpt，cuda上 数据，模型放在cuda上计算之后，还用导回cpu吗 用法 torch.cuda.is_available() torch.cuda.device() ......
使用NVIDIA HPC SDK构建cuda-samples
NVIDIA HPC SDK虽然附带了CUDA、cuBLAS等库，但安装路径与CUDA Toolkit有差异。cuda-samples有些示例用到了cuBLAS等数学库，按照文档直接make会找不到库文件。 翻找示例的Makefile想找全局的设置，发现有行ALL_CCFLAGS += $(EXTR ......
CUDA编程-性能优化
参考文档： CUDA C++ Best Practices Guide 持续更新中。。。 指令优化 使用数学库 在速度胜过精度的情况时，可以考虑使用数学库函数接口。函数名称前带有__下划线的函数名，此类函数在硬件级别上的映射，速度更快，精度稍低。例如：__sinf(x) 另请注意，每当计算同一参数的 ......
Linux CentOS安装CUDA
查看CUDA版本 nvidia-smi 一、卸载显卡驱动 sh cuda_11.3.1_465.19.01_linux.run --uninstall 二、下载显卡驱动 首先确定GPU服务器类型，驱动下载地址 三、下载CUDA 1、选择正确的CUDA版本 下载地址 这里我选择11.3版本，下载地址为 ......
cuda错误检测
cuda错误检测方法 宿主线程维护着一个初始化为cudaSuccess的cudaError_t类型变量，但出现错误时，该变量都会被错误代码替换。在调用cudaGetLastError()时，就会返回此变量，并将其置为cudaSucess。 CUDA 提供了相应的错误信息函数，常用的有以下两个： cu ......
创建Conda环境时,自动包含当前系统中的Python和CUDA等
要在创建Conda环境时自动包含当前系统中的Python和CUDA，可以使用Conda的environment.yml文件。environment.yml文件是一个文本文件，其中包含了创建Conda环境所需的依赖项信息。 下面是一个示例的environment.yml文件，其中包含了Python和C ......
CUDA:页锁定内存(pinned memory)和按页分配内存(pageable memory )
CUDA架构而言，主机端的内存分为两种，一种是可分页内存(pageable memroy)， 一种是页锁定内存(page-lock或 pinned)。 可分页内存是由操作系统API malloc()在主机上分配，页锁定内存是由CUDA函数cudaMallocHost()和cudaHostAlloc( ......
TensorFlow tfrecord的解析
import tensorflow as tfimport jsonaa = { "label": { "binary_label": { "is_use": 1, "data_type": "int64", "default_value": 0, "feature_length": "fixed_ ......
无GPU环境中运行出错解决方法：AssertionError: Torch not compiled with CUDA enabled
在執行pytorch代碼的時候，突然看到報錯 AssertionError: Torch not compiled with CUDA enabled 這說明了 1. 你pytoch确实安装了 2. 你安装的是cpu版本 作为验证，你可以在python编辑器输入下列代码 如果要在无GPU环境中运行， ......
深度学习笔记：搭建基于Python的tensorflow运行环境1
使用python3命令创建tensorflow虚拟运行环境 首先，在系统下创建python虚拟环境目录Venvs，本文我们设置的虚拟环境目录如下：C:\Users\wuchh\venvs，接下来打开cmd命令窗口 进入创建的目录（C:\Users\wuchh\venvs）。 在命令行窗口中，执行创建 ......