InferLLM

# Inferllm源码解析 ## 文件结构 1. application: 放置几个不同模型的参数配置和后处理 2. include: 包含抽象model类的头文件 3. src/core: 核心组件，包括tensor、算法等基础算子的抽象和KV文件系统的实现 4. src/graph: 包含了几 ......

从 LLM 火爆以来，社区已经出现了非常多优秀的模型，当然他们最大的特点就是体积大，最近为了让大模型可以在更低端的设备上运行，社区做了非常多的工作， gptq 实现了将模型进行低比特量化，因此降低了运行大模型对CPU内存，GPU显存的要求，llama.cpp 实现了在本地 CPU/GPU 上就可以运 ......