tensorflow-gpu tensorflow cudnn cuda
Tensorflow
TensorFlow 是由 Google 开发的一个开源深度学习框架，用于构建和训练机器学习模型。它提供了丰富的工具和库，可以支持各种不同类型的机器学习和深度学习任务，如图像识别、语音识别、自然语言处理等。 TensorFlow 的基本概念包括以下几个部分： 1. 张量 (Tensor): 是 ......
tensorflow选择cpu/gpu训练
http://www.taodudu.cc/news/show-3980798.html?action=onClick 通过环境变量控制 屏蔽GPU export CUDA_VISIBLE_DEVICES="" 通过训练代码控制 https://blog.csdn.net/dream_to_drea ......
深度学习模型训练时报错“nll_loss_forward_reduce_cuda_kernel_2d_index“ not implemented for ‘Float‘问题解决
报错如下： RuntimeError: "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Float' 一般来说这个问题是计算Loss时的报错。 解决方法： 将如下代码 loss_func(torch.squeez ......
用OLED屏幕播放视频(3): 使用cuda编程加速视频处理
下面的系列文章记录了如何使用一块linux开发扳和一块OLED屏幕实现视频的播放: 1) [项目介绍](https://www.cnblogs.com/kfggww/p/17672932.html) 2) [为OLED屏幕开发I2C驱动](https://www.cnblogs.com/kfggww ......
Proj CDeepFuzz Paper Reading: TensorFlow: a system for Large-Scale machine learning
## Abstract 本文:Tensorflow Github: https://github.com/tensorflow/tensorflow Task: Detail on Tensorflow dataflow model 特点: 1. operates at large scale an ......
Mac M1 如何安装 Tensorflow [2023-09]
## 0 前言 写这篇博客倒不是说 tensorflow 的安装有多难，主要是版本更新快，安装方式也在更新。 过去一年里 tensorflow 经历了3个小版本的更新，从 v2.9-v2.12，以前的安装方式现已不太适用。 如今的安装相比以前要简洁多了，归功于 tensorflow 在苹果芯片上的生 ......
qt程序调用cuda-11.7，cmake编译时，提示："CMakeCUDACompilerId.cu" failed. Compiler: /usr/local/cuda/bin/nvcc Build flags: Id flags: --keep;--keep-dir;tmp -v
报错显示： Running /home/wc/software/cmake-3.26.3-linux-x86_64/bin/cmake /home/wc/work/junke_src/missile-sim '-GCodeBlocks - Unix Makefiles' in /home/wc/wo ......
学习tensorflow资源
学习tensorflow先不要着急买书，买教程，先看看官网社区的教程资源，比什么都强。 https://www.tensorflow.org/?hl=zh-cn 再有就是tf.wiki的简单粗暴tensorflow2 https://tf.wiki/zh_hans/ 最后在加上一个“文心一言”，不懂 ......
ubuntu安装cuda-toolkit，以及不同版本cuda-toolkit的安装路径说明
ubuntu系统下安装cuda-toolkit步骤： 官网下载cuda-toolkit ，官网下载地址：https://developer.nvidia.com/cuda-toolkit-archive 官网中有多个版本可以安装，其中主要分为runfile(local)和deb(local) 版本， ......
tensorflow 数据及操作整理
目录： # 1. 类型 # 2. 基础操作 # 3. 运算相关 # 4. 求导相关 数据类型： ############################## # 标量（0 维数组）、 # 向量（1 维数组）、 # 矩阵（2 维数组） # 张量 （Tensor）, 概念上等同于多维数组 # 1. 类型 ......
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
CUDA 线程ID 计算方式
thread ID 的计算方式，简单来说很像小学学的除法公式，本文转载自同学一篇博客；并进行简单修改； 被除数 = 除数 * 商 + 余数 用公式表示：$$线程Id = blockId * blockSize + threadId$$ **blockId** ：当前 block 在 grid 中的坐 ......
自定义CUDA实现PyTorch算子的四种简单方法
### 背景 在探索新的深度学习算法的时候，我们可能会遇到PyTorch提供的算子不能满足需求的情况，这时候就需要自定义PyTorch算子，将我们的算法集成到PyTorch的工作流中。同时，为了提高运算效率，算子往往都需要使用CUDA实现。所幸，PyTorch及很多其他Python库都提供了简化这一 ......
使用 TensorFlow 进行机器学习
使用 TensorFlow 进行机器学习 这是使用 TensorFlow 进行机器学习的官方代码存储库。 使用 TensorFlow（Google 最新、最好的机器学习库）开始进行机器学习。 概括 第 2 章- TensorFlow 基础知识 概念 1：定义张量 概念 2：评估操作 概念 3：互动会 ......
cuda初步了解
找到对应的设备信息查看自己的设备性能 (008) Multiprocessors, (064) CUDA Cores/MP: 512 CUDA Cores解释为 有8个SM每个SM中有两个MP每个MP有32个core所有64个(064) CUDA Cores/MP 一些GPU的架构 Warp siz ......
cuda的一个简单的乘法运算
#include <iostream> #include <cuda_runtime.h> #include <device_launch_parameters.h> __global__ void compute(float* a,float* b,float* c){ int d0 = grid ......
Anaconda平台下从0到1安装TensorFlow环境详细教程(Windows10+Python)
1.安装Anaconda Anaconda下载链接：Free Download | Anaconda 下载完成之后，开始安装，修改安装路径至指定文件夹下，由于安装过程比较简单，此处略过； 2.TensorFlow使用时可以采用CPU，也可采用GPU，此处使用带有独立显卡的计算机进行演示（不带独立显卡 ......
Tensorflow的简单神经网络
# 导入库 import tensorflow as tf import numpy as np from tensorflow import keras #定义和编译一个神经网络 model = tf.keras.Sequential([keras.layers.Dense(units=1, in ......
Cuda编程学习记录
一. 基础知识 nvidia-smi指令： nvidia-smi -q -i 0 #只显示0卡信息 nvidia-smi -q -i 0 -d MEMORY | tail -n 5 #只显示0卡内存信息 nvidia-smi -q -i 0 -d UTILIZATION | tail -n 4 #只 ......
vs2019-cuda配置入门
cuda使用如下 1、打开VS，新建C++空项目 2、右击源文件->添加->新建项 3、选择CUDA C/C++ File，名称位main.cu 4、把下面的示例源码复制到main.cu中 #include "cuda_runtime.h" #include "device_launch_param ......
查看显卡相关信息（CUDA)
右击进入NVIDIA控制面板   project(example) set(CMAKE_PREFIX_PATH /home/xuliangyu/libtorch) set(Torch_DIR /home ......
win10 CUDA11.1安装torch1.9 / reformer_pytorch
# 环境 - NVIDIA-SMI 457.52 - Driver Version: 457.52 - CUDA Version: 11.1 # 安装torch-gpu 1. `conda create -n torch1.9 python=3.8` 2. `pip install torch==1 ......
Hello Cuda（二）——向量加法
``` #include #include #include #include #include #include typedef float FLOAT; double get_time(); void warm_up(); void vec_add_host(FLOAT* x, FLOAT* y ......
Hello Cuda（一）——GPU设备检测
``` #include "device_launch_parameters.h" #include int main(int argc, char*argv[]) { int deviceCount; // 设备数目 cudaGetDeviceCount(&deviceCount); for(in ......
[fastllm]cuda-kernels源码解析
接着前面第一篇架构的分析，这篇文章主要分析fastllm中使用cuda-kernels的写法，在fastllm中主要有以下几种使用频率较高的kernel：gemv_int4, gemv_int8, gemm_int8, RMSNorm, softmax，RotatePosition2D，swiglu ......
CUDA编程模型概述（二）
核函数 * 启动核函数 * 编写核函数 * 验证核函数 * 错误处理 https://face2ai.com/CUDA-F-2-1-CUDA%E7%BC%96%E7%A8%8B%E6%A8%A1%E5%9E%8B%E6%A6%82%E8%BF%B02/ ......