526互联

GGUF

[FAQ] CodeLlama GGUF 文件下载

hf-mirror: https://hf-mirror.com/TheBloke/CodeLlama-7B-GGUFmodelscope: https://modelscope.cn/models/Xorbits/CodeLlama-7B-GGUF/ 进入主页后，可以看到推荐的模型是 codell ......
文件下载 CodeLlama 文件 GGUF FAQ

大语言模型量化方法对比：GPTQ、GGUF、AWQ

在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。 说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。 del model, tokenizer, pipe import torc ......
模型 语言 方法 GPTQ GGUF
共2篇  :1/1页 首页上一页1下一页尾页