机密gpu nvidia h100
winget install cuda （Nvidia.CUDA）
PS C:\Users\Administrator> winget search cuda 名称 ID 版本 匹配 源 CudaLaunch 9NBLGGH40FCJ Unknown msstore MCX Studio coti.mcxstudio v2023 Tag: cuda winget N ......
指定代码使用的GPU设备号
当你的主机上有多张GPU卡，可以通过如下方式设置代码main.py使用哪几张GPU卡来运行程序 import os os.environ['CUDA_VISIBLE_DEVICES'] = "0,1,2" # 设定使用0,1,2号GPU卡 然后执行命令python main.py即可 注意，上述两行 ......
同样的程序，有时是gpu正常10%，有时gpu占用率到达或接近100%？提供一个解决方案
同样的程序，同样的代码，只在不同时间运行，有时是gpu正常10%，有时gpu占用率到达或接近100%？ 这里提供一个排错的解决方案 1、首先打开任务管理器，看看cpu的连续正常运行时间，如果超过了1天，请重启或按shift后关闭电脑再开机，这个方法可以把重复运行的程序的一些积累效应去掉 我通过这个方 ......
GPU监控终端部署（windows）
目的： 使用nvidia_gpu_expoter配合prometheus+grafana监控GPU性能 环境部署： Windows PowerShell ISE 管理员打开 # [Net.ServicepointManager]::SecurityProtocol 检查TLS是否支持1.2 #如果支 ......
unity广州站gpu resident drawer笔记
unity广州站gpu resident drawer笔记 什么是gpu resident drawer 将MeshRenderer数据转为BRG batch（BatchRendererGroup）数据的机制。 它优化的是CPU耗时，但也可能进而提高gpu的性能。因为需要提交给GPU的绘制调用更少。 ......
windows安装tensorflow-gpu / CUDA / cuDNN
最终安装内容：windows10 + 3060显卡 + tensorflow-gpu 2.10.0 + CUDA 11.2 + cuDNN 8.1 1. 命令行输入nvidia-smi，查看显卡对应的cuda版本。如下图，CUDA Version为12.1，则安装的CUDA版本不能高于12.1。 2 ......
TensorFlow GPU支持
Compute Capability > 3.5 NVIDIA 驱动版本 > 450.0.20 查看驱动版本 nvidia-smi ......
NVIDIA RTX4090，你能用它做什么？
都说男生是世界上最简单的动物，为什么呢？举个例子，你要给女朋友送礼，你可以选择包、口红、护肤品、化妆品等，而包的品牌和样式、口红的色号等足以让你挑得眼花缭乱。而男生不一样，如果女生选择给男生送礼，我相信一块 RTX4090 就足以让他高兴得死去活来。 RTX4090 到底是何方神圣？它凭什么赢得所有 ......
GPU图形渲染分析
GPU图形渲染分析 1 概述 高强度图形是当代计算机系统的标志。今天的计算机，从智能手机到高端台式机，都使用各种复杂的视觉效果来增强用户体验。此外，用户还可以使用计算机玩图形密集型游戏、观看高清视频，以及进行计算机辅助工程设计，所有这些应用程序都需要大量的图形处理。 在早期，计算机中的图形支持非常初 ......
linux卸载nvidia驱动
1. 查看驱动版本 ls /usr/src | grep nvidia 2. 进入安装目录 cd /usr/bin ls nvidia-* 3. 执行卸载命令 ./nvidia-uninstall 4. 重启 reboot ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
onnxruntime GPU 推理错误
错误 [E:onnxruntime:Default, provider_bridge_ort.cc:1480 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 ......
元宇宙解决方案——云端GPU在元宇宙中的作用
GPU算力可以说是我们现在信息化时代的基础设施，在某种程度上说我们已经进入了算力时代，手机、电脑、车载等算力已经渗透到各行各业了。 当然算力对元宇宙也很重要，尤其是在可视化方面，元宇宙需要很逼真的渲染，同时它的物理动作也要符合物理定律，人才能沉浸其中，所以要很强的图形渲染、物理模拟。因此GPU对元宇... ......
Installing the NVIDIA Container Toolkit 容器配置GPU
网上的帖子都比较旧了，这是最新官方地址： https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 注意：除了安装，还有配置，不是说安装上就完事 都弄好之后，就可以docke ......
【Azure Key Vault】客户端获取Key Vault机密信息全部失败问题分析
问题描述 在应用中获取存储在Azure Key Vault的机密信息，全部失败。 报错日志内容如下： [reactor-http-epoll-4] [reactor.netty.http.client.HttpClientConnect] [WARN] - [c7a7d27e, L:/xxx.xxx ......
如何在不破坏docker容器的情况下更新nvidia驱动
参考资料： [驱动-CUDA对照表] [驱动下载页] [重装驱动的一个教程] [整体的一个方法指导] 由于项目结题，需要在一个较旧的8卡V100服务器上运行机器学习代码，但是这个服务器上面的docker驱动却旧到爆炸，请看VCR： 2023年了居然显卡驱动还停留在418，这下不得不升级了。请示完导师 ......
nvidia-smi修改ECC状态重启后不生效
最近跑大模型发现显卡少了几个G显存，网上一查得知开启ecc会少一部分显存，但ecc对大模型计算准确性几乎没有影响，因此打算关闭ECC校验。 在bash里面用sudo nvidia-smi -e 0禁用了ECC之后，nvidia-smi -q -d ecc显示Pending为Disable，但是重 ......
Nvidia 驱动 Ubuntu 安装
Nvidia 驱动 Ubuntu 安装 预防针：基本都要装一次以上，因为坑真的很多，双系统不费事，但是显卡驱动真的很麻烦。 失败记录 遇到过装错了源，升级之后直接没有蓝牙wifi驱动。 驱动版本不对，直接黑屏。 驱动版本不对，不黑屏但是接不上外接显示器。 不黑屏正常运行，但是蓝牙驱动和网卡直接无了。 ......
配备四核应用处理器和GPU（XCZU1EG-2SFVA625I、XCZU1EG-2SFVA625E、XCZU1EG-1SFVA625I）Zynq UltraScale+ EG设备
详情 Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括双核应用处理器 (CG) 器件、四核应用处理器和 GPU (EG) 器件、以 ......
conda环境下安装nvidia-nvcc
参考： https://www.cnblogs.com/littletreee/p/17234053.html conda官网文档： https://anaconda.org/nvidia/cuda-nvcc conda install -c nvidia cuda-nvcc conda insta ......
配备四核应用处理器和 GPU (EG) XCZU1EG-1SFVA625E、XCZU3EG-1SFVA625E、XCZU3EG-1SBVA484E面向新一代应用
产品详情： Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括（双核、四核和视频代码-c）。其中，配备四核应用处理器 (EG) 的器 ......
NVIDIA H100 GPU：GPU的机密计算
NVIDIA的官方说明： https://www.nvidia.cn/data-center/solutions/confidential-computing/ ......
机密计算如何引领AI开发的安全未来
先进的AI模型比如机器学习和生成式AI为加速医疗研究、促进业务增长和协助打击犯罪等领域带来了巨大的潜力。但是若不正确使用，在数据用于训练和保护模型后这些模型可能带来重大风险。为应对这一挑战，2023年10月，美国拜登-哈里斯政府颁布了一项行政命令，旨在确保“AI的安全、安全和值得信赖的使用”，强调了... ......
gpu算力
colmapc如果自动 GPU 架构检测失败（如果安装了多个 GPU，则可能会发生这种情况），请TCNN_CUDA_ARCHITECTURES为您要使用的 GPU 设置环境变量。下表列出了常见 GPU 的值。如果您的 GPU 未列出，请查阅此详尽列表。 col ......
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工作代码示例和使用多个gpu的性能基准测试。 本文 ......
图形API和GPU光线追踪分析
图形API和GPU光线追踪分析 阐述目前市面上的几种流行图形API对光线追踪支持的现状和技术。 1 DirectX RayTracing（DXR） DirectX RayTracing（DXR）是DirectX 12引入的用以支持硬件光线追踪的图形API特性集。在最高级别，DXR为DirectX 1 ......
【Azure Key Vault】使用Azure CLI获取Key Vault 机密遇见问题后使用curl命令来获取机密内容
问题描述 在使用Azure Key Vault的过程中，遇见无法获取机密信息，在不方便直接写代码的情况下，快速使用Azure CLI指令来验证当前使用的认证是否可以获取到正确的机密值。 使用CLI的指令为： 第一步：设置azure 的云环境参数，指定为中国区云服务 az cloud set --na ......
linux 查看GPU程序占用
nvidia-smi 查看gpu的具体占用情况。 ps -f -p PID 查看某个程序的详细信息。 参考: https://www.cnblogs.com/dyc99/p/14597853.html ......
xgboost使用GPU最佳实践
title: xgboost使用GPU最佳实践 banner_img: https://cdn.studyinglover.com/pic/2023/10/faf4c4a867b04fc7cc77110926bf2d43.png date: 2023-10-18 18:50:00 categorie ......
如何在较旧版本的docker中使用gpu
参考资料： 自己摸索 https://blog.csdn.net/qq_43684922/article/details/127024933 之前我写过一篇如何在docker中使用gpu的随笔（传送门），当时反响还不错（收获了三个推荐）。但是今天却遇到了坑爹的情况，当时的方法不管用了。 回顾一下当时 ......