使用GGML和LangChain在CPU上运行量化的llama2-526互联

Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1，训练所用的 token 翻了一倍，已经达到了 2 万亿，对于使用大模型最重要的上下文长度限制，Llama 2 也翻了一倍。

在本文，我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。