gpu
LAXCUS和GPU软硬件结合，构建强大算力生态
在国内无法使用或者买到英伟达GH200超算情况下，利用了LAXCUS分布式操作系统强大的分布式计算能力，也能达到或者超过GH200计算性能，实现软件平替硬件的超算解决方案。 ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
前言 LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 本文转载自DeepHub IMBA 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技 ......
llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)
https://blog.csdn.net/Fatfish7/article/details/131925595 先说结论全精度llama2 7B最低显存要求：28GB全精度llama2 13B最低显存要求：52GB全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最 ......
山东布谷科技直播系统源码热点分析：不同芯片实现高质量编码与渲染视频的GPU加速功能
import cv2
GPU加速功能部署参考代码video = cv2.VideoCapture('input.mp4')
fourcc = cv2.VideoWriter_fourcc(*'XVID')
output = cv2.VideoWriter('output.mp4', fourcc, ... ......
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 ......
k8s GPU设备插件
设备插件 特性状态： Kubernetes v1.26 [stable] Kubernetes 提供了一个 设备插件框架， 你可以用它来将系统硬件资源发布到 Kubelet。 供应商可以实现设备插件，由你手动部署或作为 DaemonSet 来部署，而不必定制 Kubernetes 本身的代码。目标设 ......
cuda11.5 paddlepaddle-gpu安装出错
检查安装paddlepaddle-gpu 版本为cuda11.5没有对应的版本 报错信息 Running verify PaddlePaddle program ... I0802 16:31:52.487021 271111 interpretercore.cc:237] New Executor ......
ubuntu系统升级软件sudo apt upgrade后GPU崩溃报错，显示驱动版本不匹配——ubuntu系统版本过低导致的问题
ubuntu系统升级软件（sudo apt upgrade）后，GPU崩溃报错，查看系统日志： Aug 2 06:25:02 lcwt rsyslogd: [origin software="rsyslogd" swVersion="8.32.0" x-pid="2059" x-info="http ......
PyTorch 中的多 GPU 训练和梯度累积作为替代方案
动动发财的小手，点个赞吧！ 在[本文](https://towardsdatascience.com/multiple-gpu-training-in-pytorch-and-gradient-accumulation-as-an-alternative-to-it-e578b3fc5b91 "So ......
Linux查看显卡 GPU信息
**1.Linux查看显卡信息：** 1.1查询显卡信息 ``` lspci | grep -i vga ```  ......
X86架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本
本文操作步骤与 aarch64架构CPU下Ubuntu系统环境源码编译pytorch-gpu-2.0.1版本大致相同，只是CPU架构不同而已，因此这里只记录不同的地方。 重点： 一个个人心得，那就是要编译pytorch源码最好是选择docker环境，因为这种环境下配置比较纯净，一定要避免那种自己使用 ......
深度学习环境配置pytorch-GPU版本
一、下载与安装Anaconda 官网： https://www.anaconda.com/download 安装时添加环境变量勾选上，这样可以减少一步操作，不用再去自己手动添加了。 二、在anaconda里面创建虚拟环境 查看设备上GPU的数量： print(torch.cuda.device_count()) 输出： 设备上有一块显卡。 在pytorch中，cpu和gpu分别用torch.device('c ......
CPU与GPU的算力差别演示
之前我们在[使用GPU训练神经网络的历史](https://mp.weixin.qq.com/s/Cm9ALAegSiokgjXAJxfevA)这篇文章介绍过GPU和CPU的差别： * GPU采用无数简单的处理单元和内存体系结构，以支持超大规模的并行计算。 * GPU专注于高度并行的数值密集型计算( ......
如何知道游戏中不同型号GPU带宽的瓶颈
1）如何知道游戏中不同型号GPU带宽的瓶颈2）Unity如何避免文字单字成行3）如何检测部分安卓机型是否支持GPU Instance4）如何筛选重复动画 这是第344篇UWA技术知识分享的推送，精选了UWA社区的热门话题，涵盖了UWA问答、社区帖子等技术知识点，助力大家更全面地掌握和学习。 UW ......
项目立项说明书：GPU自动化
项目名称: GPU 自动化 项目概述： 本项目旨在开发一个 GPU 自动化系统，通过编写脚本和使用自动化工具，实现对 GPU 的管理、监控和任务调度。该系统将提供一种方便和高效的方式来管理大规模 GPU 集群，优化资源利用和任务执行，并提供实时的性能监控和报告。 项目目标： 实现 GPU 资源的自动 ......
微软计划在 Direct3D 12 新增工作图功能，可解除 GPU 与 CPU 间通信带宽限制
导读 微软计划在 3D 图形程序开发接口 Direct3D 12 中加入工作图（Work Graphs）功能，这项功能可解除目前 GPU 程序开发模型中的限制，让 GPU 通用运算能够处理更多的工作负载，更广泛地被应用。 IT之家注意到，在传统情况下，GPU 的工作负载需要由 CPU 决定，即 GP ......
Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch，含GPU、CPU版本详细安装过程
Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch，含GPU、CPU版本详细安装过程 ......
龙芯公司透露，已完成通用计算 GPU 相关 IP 设计
导读 龙芯公司透露，公司目前在通用计算 GPU 方面已经完成了相关 IP 的设计，并正在进行验证和优化。 该公司计划在 2024 年第一季度推出第一个集成自研通用计算 GPU 核的 SoC 芯片。此外，龙芯还将在此基础上开发兼顾显卡和计算加速卡功能的 GPGPU 芯片，并计划于同年下半年流片。 早在 ......
测试gpu_矩阵计算tensorflow2|pytorch
tensorflow import tensorflow as tf import timeit physical_gpus = tf.config.list_physical_devices("GPU") # 获得本地GPU列表 physical_cpus = tf.config.list_phy ......
Efficient GPU-Accelerated Subgraph Matching
# Efficient GPU-Accelerated Subgraph Matching ## 总结 核心在利用GPU并行计算，为此设计了更适合GPU查询的数据结构，并混合BFS-DFS（先广度过滤再深度匹配）实现更好的时空复杂度 ## 动机 现有的算法都是先过滤再枚举。常规的CPU算法一次只能计 ......
GPU扫盲
# 前言 相信对于软件工程师来说, CPU并不陌生. 人工智能以及机器学习带火了GPU. 经常听到的就是, GPU计算比CPU快, 但具体是怎么快的却从未刨根问底. 之前在听到GPU的时候, 我有过这样的疑问: 1. GPU是什么? 2. 为什么比CPU快? 快在哪里? 如果各方面碾压那CPU不就淘 ......
CuPy：将 NumPy 数组调度到 GPU 上运行
### 楔子 **提到 Python 的科学计算，必然离不开 NumPy 这个库，但 NumPy 在设计之初没有考虑对 GPU 的支持。正如 NumPy 的作者 Travis Oliphant 所说，如果当时给 NumPy 添加了 GPU 的支持，就没有后来的 Tensorflow、Torch 等深 ......