GPU
gpu
目前在网络中零知识证明生成速度较慢，从几十秒到几分钟，不适合一些带有隐私功能钱包和匿名身份平台的应用。为了防止隐私泄露，这些证明生成无法外包给第三方。 目前命令行程序可以访问GPUs, FPGAs, ASICs等硬件设备，但是浏览器的资源很受限。目前已经有一些团队采用硬件加速zk, 例如Scroll ......
NVIDA GPU-SXM和NVIDA GPU-PCIe 两种类型显卡到底哪个性能更高？
相关： 大模型时代该用什么样的显卡 —— 实验室新进两块A800显卡 浅析：NVIDA GPU卡SXM和PCIe之间的差异性 原来SXM类型的显卡比PCIex类型显卡性能要高。PCIE版本是通用接口，可以提供给所有电脑主板使用；而SXM类型的显卡是必须搭配nvidia公司的自家的主板来使用的。 SX ......
GPU环境搭建（TrWebOCR）
查看显卡信息 lspci | grep -i nvidia 查看系统是否受支持 uname -m http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#system-requirements 验证是否有编译环境 gc ......
支持NVIDIA GPU —— 如何运行docker环境下的Jax环境
项目地址： https://github.com/NVIDIA/JAX-Toolbox 具体的安装命令： 地址： https://github.com/NVIDIA/JAX-Toolbox/pkgs/container/jax linux/amd64 docker pull ghcr.io/nvid ......
Jax框架 —— 如何在没有GPU和TPU的设备上debug代码 —— 在CPU上使用GPU仿真设置 —— Jax框架在多卡设备上的自动并行特性的仿真体验
Jax计算框架是Google用来取代Tensorflow的新一代计算框架，这个框架使用类似pytorch的技术，但是在pytorch技术之上加入了更加强大的技术，但是这也导致该框架使用起来要比pytorch难一些，但是该框架的计算性能又比较优秀，因此依旧具有较大的吸引力。 Jax框架的性能优势主要体 ......
基于 FFmpeg 和 NVIDIA GPU 的视频硬件编解码实验
【官方文档地址】：使用 FFmpeg 和 NVIDIA GPU 硬件加速 ( PDF ) 从 Kepler 一代开始的所有 NVIDIA® GPU 都支持完全加速的硬件视频编码和解码。在本文档的其余部分中，硬件编码器和硬件解码器分别称为 NVENC 和 NVDEC。 NVENC和NVDEC的硬件能力 ......
为什么在使用onnxruntime-gpu下却没有成功调用GPU？
20240105，记。 最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。 测试机器 ......
AI_GPU-硬件-驱动-cuda
硬件 GeForce 系列 是英伟达主打的消费级GPU产品线 Quadro 系列 是英伟达专业级GPU产品线,针对商业和专业应用领域进行了优化 NVIDIA Quadro P1000显卡 Jetson 系列 是面向边缘计算和人工智能应用的嵌入式开发平台,具备强大的计算和推理能力： Jetson Or ......
转载：大模型所需 GPU 内存笔记
转载文章：大模型所需 GPU 内存笔记 引言 在运行大型模型时，不仅需要考虑计算能力，还需要关注所用内存和 GPU 的适配情况。这不仅影响 GPU 推理大型模型的能力，还决定了在训练集群中总可用的 GPU 内存，从而影响能够训练的模型规模。 大模型推理的内存计算只需考虑模型权重即可。 大模型训练的内 ......
国产深度学习框架吸引用户的一种免费手段——免费GPU时长
国产的深度学习框架基本成为了一个头部公司的标配了，不论是阿里、百度还是华为都推出了自己的深度学习框架，这几家公司为了吸引用户也都采取了免费使用GPU的活动，但是与阿里、百度的不同，华为是与固定的高校的实验室合作，为合作的大学实验室提供免费算力，并且这个算力的使用时限目前应该是没有限制的；而与华为不同 ......
GPU服务器常见问题汇总
Q1、从启动盘安装时黑屏/屏幕卡住？
Q2、1T固态硬盘Ubuntu系统磁盘分区策略：
Q3、安装Ubuntu需要选择更新吗？
Q4、安装Ubuntu后重启无法开机？
Q5、首次开机的配置代码？
Q6、CUDA及cuDNN安装指南：
A6、安装步骤如下：
Q7、Anaconda安装教程：
A7、安装... ......
摩尔线程S2000GPU环境配置
引子 书接上文，这边再来一个国产AI芯片的环境配置，OK，让我们开始吧。 一、安装系统Ubuntu20.04.1 1、USB光盘刻录系统 2、安装 3、系统主板BIOS开启Above4G及Resize BAR功能 4、命令lspci | grep 123 二、安装GPU环境 1、安装驱动程序（服务器 ......
Unity3D Shader在GPU上是如何执行的详解
Unity3D是一款广泛应用于游戏开发的跨平台开发引擎，它提供了丰富的功能和工具来帮助开发者创建高质量的游戏。其中一个重要的功能就是Shader，它可以用来控制对象的渲染效果。在Unity3D中，Shader是在GPU上执行的，那么它是如何工作的呢？本文将详细解释Unity3D Shader在GPU ......
Unity3D Shader Compute Shader基于GPU的并发计算详解
在游戏开发中，计算密集型的任务通常需要耗费大量的CPU资源，这可能导致游戏性能下降，影响玩家的游戏体验。为了解决这个问题，Unity3D引入了Shader Compute Shader技术，它使用GPU进行并发计算，将一些计算密集型任务从CPU转移到GPU上执行，以提高游戏的性能和效率。本文将详细介 ......
Unity3D Shader在GPU上是如何执行的详解
前言 Unity3D是一款广泛应用于游戏开发的跨平台开发引擎，它提供了丰富的功能和工具来帮助开发者创建高质量的游戏。其中一个重要的功能就是Shader，它可以用来控制对象的渲染效果。在Unity3D中，Shader是在GPU上执行的，那么它是如何工作的呢？本文将详细解释Unity3D Shader在 ......
Bert-vits2最终版Bert-vits2-2.3云端训练和推理(Colab免费GPU算力平台)
对于深度学习初学者来说，JupyterNoteBook的脚本运行形式显然更加友好，依托Python语言的跨平台特性，JupyterNoteBook既可以在本地线下环境运行，也可以在线上服务器上运行。GoogleColab作为免费GPU算力平台的执牛耳者，更是让JupyterNoteBook的脚本运行 ......
在linux中查看运行指定进程资源占用（cpu+gpu）
在运行程序时有时候会需要查看资源占用，以方便部署在其他服务器上时进行参考。以下是总结了我在linux上查找程序进程资源的两种方法（cpu和gpu都有）。 ......
[已解决] KVM 显卡直通 (GPU-passthrough) 直通虚拟机关机后 显示屏黑屏
系统环境 ██████████████████ ████████ littleblacklb@lb-desktop ██████████████████ ████████ ██████████████████ ████████ OS: Manjaro Linux x86_64 ███████████ ......
GPU刷BIOS和超频
GPU刷BIOS 打开GPUZ，先备份GPU的BIOS文件 点击look up 打开GPU-Z的官网，下载BIOS 再去映众的官网，找到显卡超频的软件 安装这个的目的，就是为了刷BIOS 打开设置，带你BIOS更新。 [参考资料] https://www.bilibili.com/video/BV1 ......
指定代码使用的GPU设备号
当你的主机上有多张GPU卡，可以通过如下方式设置代码main.py使用哪几张GPU卡来运行程序 import os os.environ['CUDA_VISIBLE_DEVICES'] = "0,1,2" # 设定使用0,1,2号GPU卡 然后执行命令python main.py即可 注意，上述两行 ......
同样的程序，有时是gpu正常10%，有时gpu占用率到达或接近100%？提供一个解决方案
同样的程序，同样的代码，只在不同时间运行，有时是gpu正常10%，有时gpu占用率到达或接近100%？ 这里提供一个排错的解决方案 1、首先打开任务管理器，看看cpu的连续正常运行时间，如果超过了1天，请重启或按shift后关闭电脑再开机，这个方法可以把重复运行的程序的一些积累效应去掉 我通过这个方 ......
GPU监控终端部署（windows）
目的： 使用nvidia_gpu_expoter配合prometheus+grafana监控GPU性能 环境部署： Windows PowerShell ISE 管理员打开 # [Net.ServicepointManager]::SecurityProtocol 检查TLS是否支持1.2 #如果支 ......
unity广州站gpu resident drawer笔记
unity广州站gpu resident drawer笔记 什么是gpu resident drawer 将MeshRenderer数据转为BRG batch（BatchRendererGroup）数据的机制。 它优化的是CPU耗时，但也可能进而提高gpu的性能。因为需要提交给GPU的绘制调用更少。 ......
windows安装tensorflow-gpu / CUDA / cuDNN
最终安装内容：windows10 + 3060显卡 + tensorflow-gpu 2.10.0 + CUDA 11.2 + cuDNN 8.1 1. 命令行输入nvidia-smi，查看显卡对应的cuda版本。如下图，CUDA Version为12.1，则安装的CUDA版本不能高于12.1。 2 ......
TensorFlow GPU支持
Compute Capability > 3.5 NVIDIA 驱动版本 > 450.0.20 查看驱动版本 nvidia-smi ......
GPU图形渲染分析
GPU图形渲染分析 1 概述 高强度图形是当代计算机系统的标志。今天的计算机，从智能手机到高端台式机，都使用各种复杂的视觉效果来增强用户体验。此外，用户还可以使用计算机玩图形密集型游戏、观看高清视频，以及进行计算机辅助工程设计，所有这些应用程序都需要大量的图形处理。 在早期，计算机中的图形支持非常初 ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
onnxruntime GPU 推理错误
错误 [E:onnxruntime:Default, provider_bridge_ort.cc:1480 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 ......
元宇宙解决方案——云端GPU在元宇宙中的作用
GPU算力可以说是我们现在信息化时代的基础设施，在某种程度上说我们已经进入了算力时代，手机、电脑、车载等算力已经渗透到各行各业了。 当然算力对元宇宙也很重要，尤其是在可视化方面，元宇宙需要很逼真的渲染，同时它的物理动作也要符合物理定律，人才能沉浸其中，所以要很强的图形渲染、物理模拟。因此GPU对元宇... ......
Installing the NVIDIA Container Toolkit 容器配置GPU
网上的帖子都比较旧了，这是最新官方地址： https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 注意：除了安装，还有配置，不是说安装上就完事 都弄好之后，就可以docke ......