tensorflow-keras tensorflow keras gpu
tensorflow猫狗大战笔记
第一步：数据集的加工 import cv2import os #使用os.walk()函数遍历指定文件夹train及其所有子文件夹。dir='train' #读取图片路径的设定 需要在程序文件里建立train文件夹 将需要更改尺寸的图片放入for root,dirs,files in os.walk ......
tensorflow 版本不同 报错合集
1、 "AttributeError: module 'tensorflow' has no attribute 'random_normal'"问题解决办法 使用 import tensorflow.compat.v1 as tftf.disable_v2_behavior() 替换 import ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
tensorflow安装
TensorFlow下载和安装详解（两种常用方式） | 艾奇编程网 (91yiqixue.com) 碰到错误信息解决错误信息（大概3-4个错误信息） 错误信息Cannot uninstall 'six'. It is a distutils installed project and thus we ......
k8s GPU设备插件
设备插件 特性状态： Kubernetes v1.26 [stable] Kubernetes 提供了一个 设备插件框架， 你可以用它来将系统硬件资源发布到 Kubelet。 供应商可以实现设备插件，由你手动部署或作为 DaemonSet 来部署，而不必定制 Kubernetes 本身的代码。目标设 ......
cuda11.5 paddlepaddle-gpu安装出错
检查安装paddlepaddle-gpu 版本为cuda11.5没有对应的版本 报错信息 Running verify PaddlePaddle program ... I0802 16:31:52.487021 271111 interpretercore.cc:237] New Executor ......
ubuntu系统升级软件sudo apt upgrade后GPU崩溃报错，显示驱动版本不匹配——ubuntu系统版本过低导致的问题
ubuntu系统升级软件（sudo apt upgrade）后，GPU崩溃报错，查看系统日志： Aug 2 06:25:02 lcwt rsyslogd: [origin software="rsyslogd" swVersion="8.32.0" x-pid="2059" x-info="http ......
transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer
# transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten ......
机器学习实战－基于Python3和C＋＋(5)- python之tensorflow（1）
[TOC] # tensor ```pyhon import tensorflow as tf x=tf.constant(19) y=tf.constant(22) x+y z=x+y print(z) tf.Tensor(41, shape=(), dtype=int32) a=tf.const ......
深度学习TensorFlow和CUDA、cudnn、Pytorch以及英伟达显卡对应版本对照表
一、TensorFlow对应版本对照表 版本Python 版本编译器cuDNNCUDA tensorflow-2.9.0 3.7-3.10 8.1 11.2 tensorflow-2.8.0 3.7-3.10 8.1 11.2 tensorflow-2.7.0 3.7-3.9 8.1 11.2 te ......
在 Python 中使用 Tensorflow 预测燃油效率
预测燃油效率对于优化车辆性能和减少碳排放至关重要，这可以使用python库tensorflow进行预测。在本文中，我们将探讨如何利用流行的机器学习库 Tensorflow 的强大功能来使用 Python 预测燃油效率。通过基于 Auto MPG 数据集构建预测模型，我们可以准确估计车辆的燃油效率。让 ......
PyTorch 中的多 GPU 训练和梯度累积作为替代方案
动动发财的小手，点个赞吧！ 在[本文](https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91 "So ......
Linux查看显卡 GPU信息
**1.Linux查看显卡信息：** 1.1查询显卡信息 ``` lspci | grep -i vga ```  ......
X86架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本
本文操作步骤与 aarch64架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本大致相同，只是CPU架构不同而已，因此这里只记录不同的地方。 重点： 一个个人心得，那就是要编译pytorch源码最好是选择docker环境，因为这种环境下配置比较纯净，一定要避免那种自己使用 ......
深度学习环境配置pytorch-GPU版本
一、下载与安装Anaconda 官网： https://www.anaconda.com/download 安装时添加环境变量勾选上，这样可以减少一步操作，不用再去自己手动添加了。 二、在anaconda里面创建虚拟环境 ，与numpy的ndarray类似，是一个多维数组。和numpy的区别在于：numpy的ndarray只支持CPU计算，而张量支持GPU，可以通过GPU加速，提高速度，同时张量还支持自动微分计算，更适合深度学习 ......
Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性|附代码数据
全文下载链接：http://tecdat.cn/?p=26562 最近我们被客户要求撰写关于循环神经网络的研究报告，包括一些图形和统计输出。 自 2000 年 1 月以来的股票价格数据。我们使用的是 Microsoft 股票。 该项目包括： 将时间序列数据转换为分类问题。 使用 TensorFlow ......
苹果mac m1,m2芯片安装 pytorch和tensorflow的GPU版本
一、下载M芯片的anaconda，并安装 二 、安装GPU版本的pytorch1.安装 Xcode xcode-select --install 2.创建环境 conda create -n torch-gpu python=3.11 conda activate torch-gpu 3.打开pyt ......
pytorch GPU模型训练的环境搭建
1、GPU（CUDA、cuDNN） 验证cmd nvidia-smi 2、Python（anaconda） 3、Pytorch ......
multi-GPU环境下的batch normalization需要特殊实现吗？
3年前曾经写过关于分布式环境下batch normalization是否需要特殊实现的讨论： batch normalization的multi-GPU版本该怎么实现？ 【Tensorflow 分布式PS/Worker模式下异步更新的情况】 当时我给出的观点就是在多卡环境下batch normali ......
nvidia-smi显示GPU上无进程但GPU显存却被占用
问题：有时我们在使用GPU的时候，因为某个原因，导致GPU被占，但有无法通过nvidia-smi 看到进程编号，就会产生一个现象，GPU被未知程序所占用，我们只能使用GPU的一部分，针对这种现象怎么解决呢 方法1. 重启电脑，如果win系统的话，直接关机重启即可；如果是linux系统，有图形界面的话 ......
特定Adreno GPU的Android设备发生冻屏问题
1）特定Adreno GPU的Android设备发生冻屏问题2）Unity版本升级后，iOS加载UnityFramework bundle闪退3）关于RectTransfrom.rect在屏幕空间中表示的相关问题4）Unity Mesh泄露问题 这是第345篇UWA技术知识分享的推送，精选了UWA ......
多节点高性能计算GPU集群的构建
建议参考原文： https://www.volcengine.com/docs/6535/78310 一直都在使用超算的GPU集群，但是从来没有实际操作过，虽然在自己的个人的三台主机上安装过小型的MPI集群，但是毕竟没有实际超算平台的构建经验，比如NCCL的超算平台上的安装及配置，InfiniBan ......
Macbook Pro M1 max Apple Silicon MacOSX 13.4.1 安装Tensorflow
前置条件：homebrew 1.在终端输入命令行，安装mini forge. brew install miniforge 2.创建tensorflow运行环境，同时在该运行环境中安装python，截止2023年7月26日，tensorflow支持到python3.11以前的版本。 conda cr ......
GPU的硬件组成及运行原理
# GPU的硬件组成 `GPU` 是一种专门为图形处理而设计的处理器，它的设计目标是在处理大规模、高并发的图形数据时提供高效的计算能力。与 `CPU` 相比，`GPU` 的处理器数量更多，每个处理器的计算能力相对较弱，但它们可以同时处理大量的数据，从而提供更高的计算效率。 `GPU` 的硬件组成包括 ......
5.6 使用GPU
深度学习模型的计算默认情况下是在cpu上进行的。 我们可以用torch.cuda.device_count()查看设备上GPU的数量： print(torch.cuda.device_count()) 输出： 设备上有一块显卡。 在pytorch中，cpu和gpu分别用torch.device('c ......
CPU与GPU的算力差别演示
之前我们在[使用GPU训练神经网络的历史](https://mp.weixin.qq.com/s/Cm9ALAegSiokgjXAJxfevA)这篇文章介绍过GPU和CPU的差别： * GPU采用无数简单的处理单元和内存体系结构，以支持超大规模的并行计算。 * GPU专注于高度并行的数值密集型计算( ......
使用Keras Tuner进行超参数自动调优
本文将使用 Tensorflow 中包含的 Fashion MNIST 数据集。该数据集在训练集中包含 60,000 张灰度图像，在测试集中包含 10,000 张图像。 每张图片代表属于 10 个类别之一的单品（“T 恤/上衣”、“裤子”、“套头衫”等）。 因此这是一个多类分类问题。 首先我们需要安 ......
利用Anaconda3安装tensorflow/keras，并迁移虚拟环境至不能上网的电脑
# 利用Anaconda3安装tensorflow/keras，并迁移虚拟环境至不能上网的电脑 下面记录下利用Anaconda安装tensorflow和keras，前前后后也踩了不少坑。并分别在windows系统和linux系统下将能上网的电脑下安装的tensorflow虚拟环境迁移至不能上网的环境 ......
如何知道游戏中不同型号GPU带宽的瓶颈
1）如何知道游戏中不同型号GPU带宽的瓶颈2）Unity如何避免文字单字成行3）如何检测部分安卓机型是否支持GPU Instance4）如何筛选重复动画 这是第344篇UWA技术知识分享的推送，精选了UWA社区的热门话题，涵盖了UWA问答、社区帖子等技术知识点，助力大家更全面地掌握和学习。 UW ......