526互联

4bit

LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理

一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
Chinese-Llama Chinese Colab Llama 4bit
共1篇  :1/1页 首页上一页1下一页尾页