摘要
在macOS(Apple Silicon M2)上运行ChatGLM2-6B大模型.
ChatGLM2
在线体验(需要审核,手机收个验证码很快就通过了)[https://chatglm.cn]
[https://github.com/THUDM/ChatGLM2-6B]
[https://huggingface.co/THUDM/chatglm2-6b]
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了新特性。
chatglm.cpp
[https://github.com/li-plus/chatglm.cpp]
类似 llama.cpp 的 CPU 量化加速推理方案，实现 Mac 笔记本上实时对话.
实践
安装
# 下载程序
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
# 下载模型
mkdir THUDM
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
cd ..
# 升级transformers
pip install transformers --upgrade
# transformers-4.30.2
# 转换模型到GGML格式
python3 convert.py -i THUDM/chatglm2-6b -t q4_0 -o THUDM/chatglm2-ggml.bin
# 编译程序
cmake -B build
cmake --build build -j
# 安装依赖
pip install chatglm-cpp -i https://pypi.org/simple
pip install "httpx[socks]"
pip install mdtex2html
# 开始运行
cd examples && python3 web_demo.py -m ../THUDM/chatglm2-6b/chatglm2-ggml.bin
访问:[127.0.0.1:7860]即可看到Gradio网页.
体验
-
问题1:
你是一名数学老师,$ \lim_{x \to 0} \frac{1}{x} = ? $.
| 本地的ChatGLM2-6B结果 | 在线ChatGLM结果 | ChatGPT3.5结果 |
| --- | --- | --- |
|
| 
| 
| -
问题2:
背诵带有"床前明月"的诗.
|本地的ChatGLM2-6B结果|在线ChatGLM结果|ChatGPT3.5结果|
|---|---|---|
|
|
|
|
