调用gpu/cuda常见问题
1 、cuda out of memory
1）先查询nvidia-smi 确保gpu未占用
2）调用.cuda()方法前，确保你的系统中有可用的GPU，并且已经安装了适当的GPU驱动和CUDA工具包。否则，将会引发错误。
3) 使用这种方法可以正常使用
util是 glm3 源码中带有
# model = AutoModel.from_pretrained("THUDM/chatglm3-6b",
# trust_remote_code=True).cuda()
# 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量
from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm3-6b", num_gpus=2)
model = model.eval()