1. 官方指导是使用如下命令直接运行:
$ docker run -d -v weights:/usr/src/app/weights -v datadb:/data/db/ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
随后打开地址 localhost:8008
注意:这里面有个文档上面没说的事,就是你本地是没有模型时,镜像内部会进行下载。
7B模型大小 4G,下载这会持续一段时间,所以打开 localhost:8008 后 Model choice 是没有模型可以选择的,按钮也是不可以点击的。
你进入到 docker 容器中可以查看 ./weights 目录里的文件下载进度情况。
2. 等下载完之后就会选中模型,此时 “Start a new chat” 按钮才是可以点击的,而不是 disabled 状态。
3. 如果提前在 Huggingface 上面下载好的文件,放到 weights 里面要改名为 7B.bin
https://huggingface.co/nsarrazin/alpaca/tree/main/alpaca-7B-ggml
因为可以看到实际生成用的是 docker 镜像内的指定目录内的 bin 文件,比如: 7B.bin
检验有没有下载好的模型文件,也是通过检测目录下的 7B.bin 等文件。
Ref:https://github.com/nsarrazin/serge
Tool:ChatGPT Online