526互联

device_map

利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备

# device_map 以下内容参考 [Huggingface Accelerate文档：超大模型推理方法](https://zhuanlan.zhihu.com/p/606061177) 在 HuggingFace 中有个重要的关键字是 device_map，它可以简单控制模型层部署在哪些硬件上 ......
bitsandbytes device_map 模型 参数 device
共1篇  :1/1页 首页上一页1下一页尾页