text-generation-webui
利用text-generation-webui快速搭建chatGLM2-6b/LLAMA2-7B-chat大模型运行环境
text-generation-webui 是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建各种文本生成的大模型环境。 一、安装 text-generation-webui的readme其实已写得相当详细了，这里就不再重复，只说1个可能存在的坑： 安装 peft 安装卡住 r ......
text-generation-webui试用 windows平台 以及目前比较好的开源中文模型 Baichuan-13B-Chat测试
随着llama的大模型发布，个人也可以在自己电脑上运行生成文本的大模型，建议用大显存的显卡，比如2080ti11g ， 3060 12g ， 3090 24g。 找这篇文章操作 https://openai.wiki/text-generation-webui.html 其中最麻烦的是安装依赖，这是 ......