singularity nvidia gpu
NVIDIA RTX4090，你能用它做什么？
都说男生是世界上最简单的动物，为什么呢？举个例子，你要给女朋友送礼，你可以选择包、口红、护肤品、化妆品等，而包的品牌和样式、口红的色号等足以让你挑得眼花缭乱。而男生不一样，如果女生选择给男生送礼，我相信一块 RTX4090 就足以让他高兴得死去活来。 RTX4090 到底是何方神圣？它凭什么赢得所有 ......
GPU图形渲染分析
GPU图形渲染分析 1 概述 高强度图形是当代计算机系统的标志。今天的计算机，从智能手机到高端台式机，都使用各种复杂的视觉效果来增强用户体验。此外，用户还可以使用计算机玩图形密集型游戏、观看高清视频，以及进行计算机辅助工程设计，所有这些应用程序都需要大量的图形处理。 在早期，计算机中的图形支持非常初 ......
linux卸载nvidia驱动
1. 查看驱动版本 ls /usr/src | grep nvidia 2. 进入安装目录 cd /usr/bin ls nvidia-* 3. 执行卸载命令 ./nvidia-uninstall 4. 重启 reboot ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
onnxruntime GPU 推理错误
错误 [E:onnxruntime:Default, provider_bridge_ort.cc:1480 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 ......
元宇宙解决方案——云端GPU在元宇宙中的作用
GPU算力可以说是我们现在信息化时代的基础设施，在某种程度上说我们已经进入了算力时代，手机、电脑、车载等算力已经渗透到各行各业了。 当然算力对元宇宙也很重要，尤其是在可视化方面，元宇宙需要很逼真的渲染，同时它的物理动作也要符合物理定律，人才能沉浸其中，所以要很强的图形渲染、物理模拟。因此GPU对元宇... ......
Installing the NVIDIA Container Toolkit 容器配置GPU
网上的帖子都比较旧了，这是最新官方地址： https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 注意：除了安装，还有配置，不是说安装上就完事 都弄好之后，就可以docke ......
如何在不破坏docker容器的情况下更新nvidia驱动
参考资料： [驱动-CUDA对照表] [驱动下载页] [重装驱动的一个教程] [整体的一个方法指导] 由于项目结题，需要在一个较旧的8卡V100服务器上运行机器学习代码，但是这个服务器上面的docker驱动却旧到爆炸，请看VCR： 2023年了居然显卡驱动还停留在418，这下不得不升级了。请示完导师 ......
nvidia-smi修改ECC状态重启后不生效
最近跑大模型发现显卡少了几个G显存，网上一查得知开启ecc会少一部分显存，但ecc对大模型计算准确性几乎没有影响，因此打算关闭ECC校验。 在bash里面用sudo nvidia-smi -e 0禁用了ECC之后，nvidia-smi -q -d ecc显示Pending为Disable，但是重 ......
Nvidia 驱动 Ubuntu 安装
Nvidia 驱动 Ubuntu 安装 预防针：基本都要装一次以上，因为坑真的很多，双系统不费事，但是显卡驱动真的很麻烦。 失败记录 遇到过装错了源，升级之后直接没有蓝牙wifi驱动。 驱动版本不对，直接黑屏。 驱动版本不对，不黑屏但是接不上外接显示器。 不黑屏正常运行，但是蓝牙驱动和网卡直接无了。 ......
配备四核应用处理器和GPU（XCZU1EG-2SFVA625I、XCZU1EG-2SFVA625E、XCZU1EG-1SFVA625I）Zynq UltraScale+ EG设备
详情 Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括双核应用处理器 (CG) 器件、四核应用处理器和 GPU (EG) 器件、以 ......
conda环境下安装nvidia-nvcc
参考： https://www.cnblogs.com/littletreee/p/17234053.html conda官网文档： https://anaconda.org/nvidia/cuda-nvcc conda install -c nvidia cuda-nvcc conda insta ......
配备四核应用处理器和 GPU (EG) XCZU1EG-1SFVA625E、XCZU3EG-1SFVA625E、XCZU3EG-1SBVA484E面向新一代应用
产品详情： Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括（双核、四核和视频代码-c）。其中，配备四核应用处理器 (EG) 的器 ......
NVIDIA H100 GPU：GPU的机密计算
NVIDIA的官方说明： https://www.nvidia.cn/data-center/solutions/confidential-computing/ ......
gpu算力
colmapc如果自动 GPU 架构检测失败（如果安装了多个 GPU，则可能会发生这种情况），请TCNN_CUDA_ARCHITECTURES为您要使用的 GPU 设置环境变量。下表列出了常见 GPU 的值。如果您的 GPU 未列出，请查阅此详尽列表。 col ......
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工作代码示例和使用多个gpu的性能基准测试。 本文 ......
图形API和GPU光线追踪分析
图形API和GPU光线追踪分析 阐述目前市面上的几种流行图形API对光线追踪支持的现状和技术。 1 DirectX RayTracing（DXR） DirectX RayTracing（DXR）是DirectX 12引入的用以支持硬件光线追踪的图形API特性集。在最高级别，DXR为DirectX 1 ......
linux 查看GPU程序占用
nvidia-smi 查看gpu的具体占用情况。 ps -f -p PID 查看某个程序的详细信息。 参考: https://www.cnblogs.com/dyc99/p/14597853.html ......
xgboost使用GPU最佳实践
title: xgboost使用GPU最佳实践 banner_img: https://cdn.studyinglover.com/pic/2023/10/faf4c4a867b04fc7cc77110926bf2d43.png date: 2023-10-18 18:50:00 categorie ......
如何在较旧版本的docker中使用gpu
参考资料： 自己摸索 https://blog.csdn.net/qq_43684922/article/details/127024933 之前我写过一篇如何在docker中使用gpu的随笔（传送门），当时反响还不错（收获了三个推荐）。但是今天却遇到了坑爹的情况，当时的方法不管用了。 回顾一下当时 ......
GPU部署llama-cpp-python(llama.cpp通用)
title: GPU部署llama-cpp-python(llama.cpp通用) banner_img: https://cdn.studyinglover.com/pic/2023/08/a5e39db5abf0853e6c456728df8bd971.jpg date: 2023-8-6 23 ......
在终端绘制GPU显存使用曲线
title: 在终端绘制GPU显存使用曲线 banner_img: https://cdn.studyinglover.com/pic/2023/08/588d9420c9302f5e0d6c2e89fbddf200.png date: 2023-8-13 11:44:00 在终端绘制GPU显存使用 ......
ubuntu黑屏（解决，但又没完全解决）关于双系统 ubuntu22.04 LST+win11 及 双显卡 AMD-6650XT+NVIDIA-TESLAM40
今天一开机，ubuntu系统就黑屏 左上角光标一直闪，并且报了bluetooth的问题和v2raya的问题。 alt+f2-f7都无法切换到命令界面或图形界面。 但是反复重启后，有个别几次能进入图形界面。 排查了几个原因 1、内核的问题。 参考：https://www.mail-archive.co ......
使用NVIDIA HPC SDK构建cuda-samples
NVIDIA HPC SDK虽然附带了CUDA、cuBLAS等库，但安装路径与CUDA Toolkit有差异。cuda-samples有些示例用到了cuBLAS等数学库，按照文档直接make会找不到库文件。 翻找示例的Makefile想找全局的设置，发现有行ALL_CCFLAGS += $(EXTR ......
Ubuntu 16.04 安装英伟达（Nvidia）显卡驱动
Ubuntu 16.04 安装英伟达（Nvidia）显卡驱动 配有英伟达显卡的主机，装完 Ubuntu 16.04 后出现闪屏现象，是由于没有安装显卡驱动。 显卡型号 NVIDIA Corporation GM204 [GeForce GTX 970] 由于没有显卡驱动，屏幕闪屏，以下安装过程在终端 ......
无GPU环境中运行出错解决方法：AssertionError: Torch not compiled with CUDA enabled
在執行pytorch代碼的時候，突然看到報錯 AssertionError: Torch not compiled with CUDA enabled 這說明了 1. 你pytoch确实安装了 2. 你安装的是cpu版本 作为验证，你可以在python编辑器输入下列代码 如果要在无GPU环境中运行， ......
k8s集群节点配置GPU
默认已有以下前置条件 k8s 1.10+ 操作系统：麒麟v10 SP2（Centos，Ubuntu等见“安装NVIDIA Container Toolkit”中其他源配置） GPU驱动：已安装 官方文档：https://github.com/NVIDIA/k8s-device-plugin 一、验证 ......
docker使用--gpus all报错: docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
报错信息： docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 解决方法： 1，任意路径下创建nvidia-container-runtime-script ......
安装warp-transducer时cmake.. 出现 Building shared library with no GPU support的解决办法
warp-transducer A fast parallel implementation of RNN Transducer (Graves 2013 joint network), on both CPU and GPU. GPU implementation is now available ......
浅谈移动端GPU架构
【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！ 一、前言 本文是关于TBR、TBDR和IMR三种不同的GPU架构的学习和总结，希望可以帮助到大家理解这些概念。 前置概念现有的GPU架构主要分为以下三类： Im ......