显存
【Transformer 基础系列】手推显存占用
https://zhuanlan.zhihu.com/p/648924115 本文试图以最清晰的方式手动推导 Transformers 每一步的参数量到显存、计算量问题。理解底层，才能更好的做训练和优化。可能是目前最全的大模型显存优化方案分析。 本文内容包括（1）模型训练和推理过程中的显存占用（2） ......
微调baichuan2-7b遇到的显存坑
问题描述： 微调baichuan2-7b模型，验证一轮后继续训练第一个iteration显存大幅增加 项目链接： https://github.com/wp931120/baichuan_sft_lora 具体描述： 由于某些原因，笔者是在transformers4.30.2、torch2.0.1， ......
pytorch减少显存方式
引导 1. 显存都用在哪儿了？ 2. 技巧 1：使用就地操作 3. 技巧 2：避免中间变量 4. 技巧 3：优化网络模型 5. 技巧 4：减小 BATCH_SIZE 6. 技巧 5：拆分 BATCH 7. 技巧 6：降低 PATCH_SIZE 8. 技巧 7：优化损失求和 9. 技巧 8：调整训练精 ......
通过显卡占用率和显存占用率获取空闲GPUs
创建idleGPUs.py，内容如下： #!/usr/bin/env python # -*- coding: utf-8 -*- from os import popen from typing import List def query_idle_gpus(threshold: int = 2) ......
在终端绘制GPU显存使用曲线
title: 在终端绘制GPU显存使用曲线 banner_img: https://cdn.studyinglover.com/pic/2023/08/588d9420c9302f5e0d6c2e89fbddf200.png date: 2023-8-13 11:44:00 在终端绘制GPU显存使用 ......
显存架构，虚拟与物理内存
显存架构，虚拟与物理内存 一款显卡的结构见下图，包含了GPU（执行所有计算）、视频输出（连接到屏幕）、显存（存储纹理或通用数据）、电源管理（降低电压，调节电流）、主机交互总线（与CPU的通信）等部件： 如今，所有计算机的结构都是类似的：一个中央处理器和许多外围设备。为了交换数据，这些外围设备通过总线 ......
pytorch训练过程中显存爆掉
之前学c/c++，for循环中的变量只在for循环内部有效，for循环结束，则变量也被销毁。 for(int i = 0; i < 10; ++i){ int x = i + 1; } cout << x << "\n"; //error: ‘x’ was not declared in this ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
Windows怎么查看英伟达显卡显存消耗
参考：https://zhidao.baidu.com/question/507196547206068124.html 使用命令 nvidia-smi ......
大语言模型LLM推理及训练显存计算方法
一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)
https://blog.csdn.net/Fatfish7/article/details/131925595 先说结论全精度llama2 7B最低显存要求：28GB全精度llama2 13B最低显存要求：52GB全精度llama2 70B最低显存要求：280GB 16精度llama2 7B预测最 ......
nvidia-smi显示GPU上无进程但GPU显存却被占用
问题：有时我们在使用GPU的时候，因为某个原因，导致GPU被占，但有无法通过nvidia-smi 看到进程编号，就会产生一个现象，GPU被未知程序所占用，我们只能使用GPU的一部分，针对这种现象怎么解决呢 方法1. 重启电脑，如果win系统的话，直接关机重启即可；如果是linux系统，有图形界面的话 ......
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升
前言 FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技 ......
CST电磁仿真软件配置的CPU、内存、显卡显存越大越好吗？
CST电磁仿真软件是一款功能强大的工具，用于模拟和计算电磁场。然而，软件的性能不仅取决于软件本身的优化，还与计算机的硬件配置有很大的关系。尤其是在进行大规模电磁场仿真时，硬件配置的高低直接影响到计算速度和精度。 在CST电磁仿真软件的配置中，CPU、内存和显存都是非常重要的因素。首先，CPU的处理速 ......
【深度学习】参数量、模型大小、显存
对于一个深度学习神经网络来说，其通常包含很多卷积层，用于不断提取目标的特征，或对目标进行最终定位或者分类。 1 数据存储精度与存储空间 在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节 ......
一块显存为 12GB 的 GPU 卡能够在CST 时域求解器仿真的最大网格数是多少？
Nvidia Tesla K40*系列和 Quadro K6000 拥有 12GB 的显存，CST 时域求解器采用六面体网格，仿真所占用的内存与网格数目成线性关系，两者之间的关系为一千万网格约占用 1GB 的内存，故全部采用显存仿真时，12GB 的内存能够仿真 1.2 亿六面体网格，超出部分将在主机 ......
pytorch显存机制
根据个人理解，pytorch显存分3个概念：reserved memory、allocated memory、context memory。参考：https://discuss.pytorch.org/t/difference-between-allocated-and-reserved-memor ......
6G显存玩转130亿参数大模型，仅需13行命令，RTX2060用户发来贺电
前言 Meta的大语言模型LLaMA 13B，现在用2060就能跑了~ 本文转载自量子位 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、 ......
为什么显卡的显存是1G 3G 6G 11G 22G 是奇数的倍数，而内存条是4G 8G 16G 32G 是偶数的倍数
为什么显卡的显存是1G 3G 6G 11G 22G 是奇数的倍数，而内存条是4G 8G 16G 32G 是偶数的倍数 GPT4： 显卡的显存和内存条的容量之所以有这种差异，主要原因是它们的设计和使用场景不同。 内存条（RAM）通常使用二进制存储数据，因此其容量通常是2的整数次幂（如2、4、8、16、 ......
模型的显存和参数量计算
模型的显存和参数量计算 https://blog.csdn.net/weixin_49305813/article/details/119179849 https://blog.csdn.net/NODIECANFLY/article/details/102854842 ......
显存文字属性
#显存段为 B800 ~ BFFF #低位存放所要显示的文字，高位存放属性 #以一个字节来记录属性（八位的二进制） #第 1 位为 是否闪烁 #第 2~4 位为 背景颜色 ：（2对应的是R：红色，3对应的是：G：绿色，4对应的是B：蓝色） #第 5 位为 是否高亮 #第 6~8 位为 前景颜色 ：（ ......
【转载】解决Nvidia-smi没有进程但是显存不释放的问题
Nvidia显存占用问题 程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候, 有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？ 这是因为使用PyTorch设置多线程进行数据读取 ......
[GPT] 怎么查看我的 macbook 有多少显存
您可以按照以下步骤查看您MacBook的显存大小： 点击屏幕左上角的苹果图标，选择“关于本机”。 在弹出的窗口中，点击“系统报告”。 在左侧栏中选择“图形/显示”，在右侧窗口中可以找到显示器和显卡的详细信息。其中，“VRAM（总量）”就是您MacBook的显存大小。 请注意，如果您的 MacBook ......