bitsandbytes

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知,LLM 规模庞大,如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上,我们不断努力以不断降低大模型的准入 ......
bitsandbytes QLoRA LLM

利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备

# device_map 以下内容参考 [Huggingface Accelerate文档:超大模型推理方法](https://zhuanlan.zhihu.com/p/606061177) 在 HuggingFace 中有个重要的关键字是 device_map,它可以简单控制模型层部署在哪些硬件上 ......
bitsandbytes device_map 模型 参数 device

bitsandbytes通过源码安装后调用报错AttributeError: module 'bitsandbytes.nn' has no attribute 'Linear8bitLt'

通过github下载的源码使用pip install -e . 方式安装的时候会出现题目中的问题。这个时候先卸载掉bitsandbytes,然后重新使用pip install bitsandbytes 安装,这种方式直接从仓库中安装,问题就解决了。目前尚不清楚问题出现原因,虽然两种方式的安装版本都是 ......

大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes

引言 语言模型一直在变大。截至撰写本文时,PaLM 有 5400 亿参数,OPT、GPT-3 和 BLOOM 有大约 1760 亿参数,而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大,因此它们很难在一般的设备上运行。举个例子,仅推理 BLOOM-176B ......
共4篇  :1/1页 首页上一页1下一页尾页