wsl gpu
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
onnxruntime GPU 推理错误
错误 [E:onnxruntime:Default, provider_bridge_ort.cc:1480 TryGetProviderInfo_CUDA] /onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 ......
元宇宙解决方案——云端GPU在元宇宙中的作用
GPU算力可以说是我们现在信息化时代的基础设施，在某种程度上说我们已经进入了算力时代，手机、电脑、车载等算力已经渗透到各行各业了。 当然算力对元宇宙也很重要，尤其是在可视化方面，元宇宙需要很逼真的渲染，同时它的物理动作也要符合物理定律，人才能沉浸其中，所以要很强的图形渲染、物理模拟。因此GPU对元宇... ......
windows 使用wsl安装linux环境
网上的教程大多都需要安装虚拟机，找寻起来比较麻烦，特此记录 本机用的window11系统 第一步：关掉防火墙，以管理员身份打开终端然后输入wsl --install 只输入wsl也可，会有对应的帮助信息弹出 如果弹出无法解析服务器的名称或地址。如果网络链接没有问题，则需要去检查自己的网络配置，设置D ......
Installing the NVIDIA Container Toolkit 容器配置GPU
网上的帖子都比较旧了，这是最新官方地址： https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 注意：除了安装，还有配置，不是说安装上就完事 都弄好之后，就可以docke ......
配备四核应用处理器和GPU（XCZU1EG-2SFVA625I、XCZU1EG-2SFVA625E、XCZU1EG-1SFVA625I）Zynq UltraScale+ EG设备
详情 Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括双核应用处理器 (CG) 器件、四核应用处理器和 GPU (EG) 器件、以 ......
配备四核应用处理器和 GPU (EG) XCZU1EG-1SFVA625E、XCZU3EG-1SFVA625E、XCZU3EG-1SBVA484E面向新一代应用
产品详情： Zynq™ UltraScale+™ MPSoC 器件不仅提供 64 位处理器可扩展性，同时还将实时控制与软硬件引擎相结合，支持图形、视频、波形与数据包处理。置于包含通用实时处理器和可编程逻辑的平台上，三个不同变体包括（双核、四核和视频代码-c）。其中，配备四核应用处理器 (EG) 的器 ......
NVIDIA H100 GPU：GPU的机密计算
NVIDIA的官方说明： https://www.nvidia.cn/data-center/solutions/confidential-computing/ ......
解决"wsl: 检测到 localhost 代理配置，但未镜像到 WSL。NAT 模式下的 WSL 不支持 localhost 代理"
What happend? 今天在办公室的电脑上折腾WSL，说实话这玩意比Vmware和Visualbox方便不少。当然这个方便是指的在学习过程中。 安装过程一切顺利，安装完Ubuntu-20.04之后，正常进入了命令行，由于我只需要使用gcc学习C语言，所以只需要把源更新掉，然后再Ubuntu里面 ......
gpu算力
colmapc如果自动 GPU 架构检测失败（如果安装了多个 GPU，则可能会发生这种情况），请TCNN_CUDA_ARCHITECTURES为您要使用的 GPU 设置环境变量。下表列出了常见 GPU 的值。如果您的 GPU 未列出，请查阅此详尽列表。 col ......
wsl 创建服务 启动停止, init
//////////////////////////////////////////////// 运行 ////////////////////////////////////////////////////////////////// #!/bin/bash /opt/odoo16env/bin/ ......
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工作代码示例和使用多个gpu的性能基准测试。 本文 ......
图形API和GPU光线追踪分析
图形API和GPU光线追踪分析 阐述目前市面上的几种流行图形API对光线追踪支持的现状和技术。 1 DirectX RayTracing（DXR） DirectX RayTracing（DXR）是DirectX 12引入的用以支持硬件光线追踪的图形API特性集。在最高级别，DXR为DirectX 1 ......
linux 查看GPU程序占用
nvidia-smi 查看gpu的具体占用情况。 ps -f -p PID 查看某个程序的详细信息。 参考: https://www.cnblogs.com/dyc99/p/14597853.html ......
linux系统docker安装/wsl2 Docker安装
0 前言 我最近需要在WSL2系统中安装Docker，网上的安装教程是真特么麻烦，最简单的是借用docker desktop来安装docker，但是我每次重启WSL2就会导致我的docker环境丢失....暂时不知道什么问题导致的。 1 WSL2安装docker 感谢B站大佬@麦兜搞IT提供的教学， ......
WSL安装软件报错/sbin/ldconfig.real: /usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link
原因 /usr/lib/wsl/lib/目录下都是文件而不是链接，且该目录只读，需要在其他目录操作 解决 cd /usr/lib/wslsudo mkdir lib2sudo ln -s lib/* lib2 更改wsl配置文件 sudo vim /etc/ld.so.conf.d/ld.wsl.c ......
WSL 替换软件源
之前搞好了 WSL 的代理设置，但是 apt 还是无法正常安装软件！然后突然意识到可能需要换一下软件源。 查看系统版本： ~ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=22.04 DISTRIB_CODENAME=jammy DIS ......
WSL清理和压缩空间
WSL清理和压缩空间 进入WSL, 删除不再使用的文件 退出WSL, 并检查 WSL 是否已完全关闭: C:\Users\xxx>wsl -l -v NAME STATE VERSION * Ubuntu-16.04 Stopped 2 Ubuntu-20.04 Stopped 2 Ubuntu_1 ......
xgboost使用GPU最佳实践
title: xgboost使用GPU最佳实践 banner_img: https://cdn.studyinglover.com/pic/2023/10/faf4c4a867b04fc7cc77110926bf2d43.png date: 2023-10-18 18:50:00 categorie ......
如何在较旧版本的docker中使用gpu
参考资料： 自己摸索 https://blog.csdn.net/qq_43684922/article/details/127024933 之前我写过一篇如何在docker中使用gpu的随笔（传送门），当时反响还不错（收获了三个推荐）。但是今天却遇到了坑爹的情况，当时的方法不管用了。 回顾一下当时 ......
GPU部署llama-cpp-python(llama.cpp通用)
title: GPU部署llama-cpp-python(llama.cpp通用) banner_img: https://cdn.studyinglover.com/pic/2023/08/a5e39db5abf0853e6c456728df8bd971.jpg date: 2023-8-6 23 ......
在终端绘制GPU显存使用曲线
title: 在终端绘制GPU显存使用曲线 banner_img: https://cdn.studyinglover.com/pic/2023/08/588d9420c9302f5e0d6c2e89fbddf200.png date: 2023-8-13 11:44:00 在终端绘制GPU显存使用 ......
从wsl复制文件到windows立刻读报错Permission denied
因为是在windows使用IDE开发，但用到了ubuntu下抓的pcap文件，我直接从wsl把文件复制到windows目录下，使用WatchService监视目录。第一次正常，第二次以后一直报错org.pcap4j.core.PcapNativeException: E:\input_test\xx ......
wsl中操作文件是提示 Read-only file system报错
1. 查看挂载的硬盘 mount | grep ext4 2. 挂载硬盘 sudo e2fsck /dev/sdc -y 3. 在powershell中关闭wsl， wsl --shutdown 4. 重启之后即可 ......
win11 配置开机自启动wsl子系统
win+R shell:startup 进入配置目录 进入window所在的目录 新建一个 txt文本文档，后更改扩展名.vbs 撰写内容： 其中ubuntu20.04是子系统的名称 set ws=wscript.CreateObject("wscript.shell")ws.run "wsl -d ......
在wsl中运行'./Allrun.sh'时报错：$'\r': command not found
在Windows下编写好sh文件后，在Linux下或者wsl中运行会报错： line 2: $'\r': command not found 这是因为Windows系统的文件换行使用的是 \r\n ，而Unix系统是\n 问题解决： dos2unix Allrun.sh dos2unix是将Wind ......
SSH方式无法连接WSL
主要参考链接 简要流程：参考链接1 修改ubuntu上配置：参考链接、 重新生成KEY（有说法是重新就会重新生成）：参考链接 重启openssh-server报错：参考链接 1、windows上SSH测试连接WSL 1）需要输入密码：123 ssh root@localhost -p 22 2、ub ......
无GPU环境中运行出错解决方法：AssertionError: Torch not compiled with CUDA enabled
在執行pytorch代碼的時候，突然看到報錯 AssertionError: Torch not compiled with CUDA enabled 這說明了 1. 你pytoch确实安装了 2. 你安装的是cpu版本 作为验证，你可以在python编辑器输入下列代码 如果要在无GPU环境中运行， ......
k8s集群节点配置GPU
默认已有以下前置条件 k8s 1.10+ 操作系统：麒麟v10 SP2（Centos，Ubuntu等见“安装NVIDIA Container Toolkit”中其他源配置） GPU驱动：已安装 官方文档：https://github.com/NVIDIA/k8s-device-plugin 一、验证 ......
docker使用--gpus all报错: docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
报错信息： docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 解决方法： 1，任意路径下创建nvidia-container-runtime-script ......