tensorflow gpu
【Tensorflow】深度模型推理性能优化-微量优化
序 说到深度模型优化，可能想到最多的就是上GPU，对于CV、NLP这一类模型效果非常明显，一般RT能下降到原来的1/10。但是在实际中，会遇到一些排序类的模型 例如推荐模型DSMM、ESMM、DIN等模型，这些模型深度一般只有4、5层，上GPU后性能、RT反而下降，猜测原因可能是模型网络简单，导致反 ......
使用conda准备tensorflow环境流程
requirement.txt是这样写的： ```txt tensorflow==2.10.1 pandas==1.3.5 numpy==1.21.6 scikit-learn==1.0.2 tqdm==4.64.1 absl-py==1.4.0 gdown==4.7.1 ``` 步骤如下 ### ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)
https://blog.csdn.net/Fatfish7/article/details/131925595 先说结论全精度llama2 7B最低显存要求：28GB全精度llama2 13B最低显存要求：52GB全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最 ......
山东布谷科技直播系统源码热点分析：不同芯片实现高质量编码与渲染视频的GPU加速功能
import cv2
GPU加速功能部署参考代码video = cv2.VideoCapture('input.mp4')
fourcc = cv2.VideoWriter_fourcc(*'XVID')
output = cv2.VideoWriter('output.mp4', fourcc, ... ......
tensorflow猫狗大战笔记
第一步：数据集的加工 import cv2import os #使用os.walk()函数遍历指定文件夹train及其所有子文件夹。dir='train' #读取图片路径的设定 需要在程序文件里建立train文件夹 将需要更改尺寸的图片放入for root,dirs,files in os.walk ......
tensorflow 版本不同 报错合集
1、 "AttributeError: module 'tensorflow' has no attribute 'random_normal'"问题解决办法 使用 import tensorflow.compat.v1 as tftf.disable_v2_behavior() 替换 import ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
tensorflow安装
TensorFlow下载和安装详解（两种常用方式） | 艾奇编程网 (91yiqixue.com) 碰到错误信息解决错误信息（大概3-4个错误信息） 错误信息Cannot uninstall 'six'. It is a distutils installed project and thus we ......
k8s GPU设备插件
设备插件 特性状态： Kubernetes v1.26 [stable] Kubernetes 提供了一个 设备插件框架， 你可以用它来将系统硬件资源发布到 Kubelet。 供应商可以实现设备插件，由你手动部署或作为 DaemonSet 来部署，而不必定制 Kubernetes 本身的代码。目标设 ......
cuda11.5 paddlepaddle-gpu安装出错
检查安装paddlepaddle-gpu 版本为cuda11.5没有对应的版本 报错信息 Running verify PaddlePaddle program ... I0802 16:31:52.487021 271111 interpretercore.cc:237] New Executor ......
ubuntu系统升级软件sudo apt upgrade后GPU崩溃报错，显示驱动版本不匹配——ubuntu系统版本过低导致的问题
ubuntu系统升级软件（sudo apt upgrade）后，GPU崩溃报错，查看系统日志： Aug 2 06:25:02 lcwt rsyslogd: [origin software="rsyslogd" swVersion="8.32.0" x-pid="2059" x-info="http ......
transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer
# transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten ......
机器学习实战－基于Python3和C＋＋(5)- python之tensorflow（1）
[TOC] # tensor ```pyhon import tensorflow as tf x=tf.constant(19) y=tf.constant(22) x+y z=x+y print(z) tf.Tensor(41, shape=(), dtype=int32) a=tf.const ......
深度学习TensorFlow和CUDA、cudnn、Pytorch以及英伟达显卡对应版本对照表
一、TensorFlow对应版本对照表 版本Python 版本编译器cuDNNCUDA tensorflow-2.9.0 3.7-3.10 8.1 11.2 tensorflow-2.8.0 3.7-3.10 8.1 11.2 tensorflow-2.7.0 3.7-3.9 8.1 11.2 te ......
在 Python 中使用 Tensorflow 预测燃油效率
预测燃油效率对于优化车辆性能和减少碳排放至关重要，这可以使用python库tensorflow进行预测。在本文中，我们将探讨如何利用流行的机器学习库 Tensorflow 的强大功能来使用 Python 预测燃油效率。通过基于 Auto MPG 数据集构建预测模型，我们可以准确估计车辆的燃油效率。让 ......
PyTorch 中的多 GPU 训练和梯度累积作为替代方案
动动发财的小手，点个赞吧！ 在[本文](https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91 "So ......
Linux查看显卡 GPU信息
**1.Linux查看显卡信息：** 1.1查询显卡信息 ``` lspci | grep -i vga ```  ......
X86架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本
本文操作步骤与 aarch64架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本大致相同，只是CPU架构不同而已，因此这里只记录不同的地方。 重点： 一个个人心得，那就是要编译pytorch源码最好是选择docker环境，因为这种环境下配置比较纯净，一定要避免那种自己使用 ......
深度学习环境配置pytorch-GPU版本
一、下载与安装Anaconda 官网： https://www.anaconda.com/download 安装时添加环境变量勾选上，这样可以减少一步操作，不用再去自己手动添加了。 二、在anaconda里面创建虚拟环境 ，与numpy的ndarray类似，是一个多维数组。和numpy的区别在于：numpy的ndarray只支持CPU计算，而张量支持GPU，可以通过GPU加速，提高速度，同时张量还支持自动微分计算，更适合深度学习 ......
Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性|附代码数据
全文下载链接：http://tecdat.cn/?p=26562 最近我们被客户要求撰写关于循环神经网络的研究报告，包括一些图形和统计输出。 自 2000 年 1 月以来的股票价格数据。我们使用的是 Microsoft 股票。 该项目包括： 将时间序列数据转换为分类问题。 使用 TensorFlow ......
苹果mac m1,m2芯片安装 pytorch和tensorflow的GPU版本
一、下载M芯片的anaconda，并安装 二 、安装GPU版本的pytorch1.安装 Xcode xcode-select --install 2.创建环境 conda create -n torch-gpu python=3.11 conda activate torch-gpu 3.打开pyt ......
pytorch GPU模型训练的环境搭建
1、GPU（CUDA、cuDNN） 验证cmd nvidia-smi 2、Python（anaconda） 3、Pytorch ......
multi-GPU环境下的batch normalization需要特殊实现吗？
3年前曾经写过关于分布式环境下batch normalization是否需要特殊实现的讨论： batch normalization的multi-GPU版本该怎么实现？ 【Tensorflow 分布式PS/Worker模式下异步更新的情况】 当时我给出的观点就是在多卡环境下batch normali ......
nvidia-smi显示GPU上无进程但GPU显存却被占用
问题：有时我们在使用GPU的时候，因为某个原因，导致GPU被占，但有无法通过nvidia-smi 看到进程编号，就会产生一个现象，GPU被未知程序所占用，我们只能使用GPU的一部分，针对这种现象怎么解决呢 方法1. 重启电脑，如果win系统的话，直接关机重启即可；如果是linux系统，有图形界面的话 ......
特定Adreno GPU的Android设备发生冻屏问题
1）特定Adreno GPU的Android设备发生冻屏问题2）Unity版本升级后，iOS加载UnityFramework bundle闪退3）关于RectTransfrom.rect在屏幕空间中表示的相关问题4）Unity Mesh泄露问题 这是第345篇UWA技术知识分享的推送，精选了UWA ......
多节点高性能计算GPU集群的构建
建议参考原文： https://www.volcengine.com/docs/6535/78310 一直都在使用超算的GPU集群，但是从来没有实际操作过，虽然在自己的个人的三台主机上安装过小型的MPI集群，但是毕竟没有实际超算平台的构建经验，比如NCCL的超算平台上的安装及配置，InfiniBan ......
Macbook Pro M1 max Apple Silicon MacOSX 13.4.1 安装Tensorflow
前置条件：homebrew 1.在终端输入命令行，安装mini forge. brew install miniforge 2.创建tensorflow运行环境，同时在该运行环境中安装python，截止2023年7月26日，tensorflow支持到python3.11以前的版本。 conda cr ......
GPU的硬件组成及运行原理
# GPU的硬件组成 `GPU` 是一种专门为图形处理而设计的处理器，它的设计目标是在处理大规模、高并发的图形数据时提供高效的计算能力。与 `CPU` 相比，`GPU` 的处理器数量更多，每个处理器的计算能力相对较弱，但它们可以同时处理大量的数据，从而提供更高的计算效率。 `GPU` 的硬件组成包括 ......