GPTQ
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del model, tokenizer, pipe import torc ......
OBS/OBD/GPTQ
这是一种量化、剪枝用的算法 首先OBD是LeCun的论文提出的(1990)： https://proceedings.neurips.cc/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf 然后在之后被应用到了剪枝上，叫OBS(19 ......