b-chat
baichuan2-13b-chat加速
当前加速框架层出不穷，到底哪个能一统天下未可知，那在当前阶段我们加速大模型该选取哪个框架呢。目前存在的大模型加速框架：VLLM，TGI,FasterTransformer,DeepSpeed-MII,FlexFlow Server,LMDeploy等等等等。但是这些框架大部分支持的模型都很少，或只支 ......
text-generation-webui试用 windows平台 以及目前比较好的开源中文模型 Baichuan-13B-Chat测试
随着llama的大模型发布，个人也可以在自己电脑上运行生成文本的大模型，建议用大显存的显卡，比如2080ti11g ， 3060 12g ， 3090 24g。 找这篇文章操作 https://openai.wiki/text-generation-webui.html 其中最麻烦的是安装依赖，这是 ......