如何使用Git LFS下载大模型权重

发布时间 2023-08-19 12:25:12作者: 友人博

如何使用Git LFS下载大模型权重

大语言模型的权重文件通常比较大,直接从浏览器中下载的话不太方便。我们可以使用Git LFS获得更好的下载体验。Git LFS(大文件存储)是Git的一个扩展,允许我们更高效地处理大文件。

安装

git lfs install

或者

sudo apt-get install git-lfs

下载

以清华大学发布的ChatGLM2大模型为例,使用以下命令下载对应的权重文件:

git clone https://huggingface.co/THUDM/chatglm2-6b 

其他操作

下载过程中可能会出现意外情况,可以使用以下命令灵活处理:

git fetch # 确保本地有最新的仓库状态和分支信息
git lfs ls-files # 检查仓库中的LFS对象列表,确定还有哪些文件需要下载
git pull # 确保仓库是最新的
git lfs fetch –all # 逐个下载剩余的LFS对象