Baichuan
微调baichuan2-7b遇到的显存坑
问题描述： 微调baichuan2-7b模型，验证一轮后继续训练第一个iteration显存大幅增加 项目链接： https://github.com/wp931120/baichuan_sft_lora 具体描述： 由于某些原因，笔者是在transformers4.30.2、torch2.0.1， ......
baichuan2-13b-chat加速
当前加速框架层出不穷，到底哪个能一统天下未可知，那在当前阶段我们加速大模型该选取哪个框架呢。目前存在的大模型加速框架：VLLM，TGI,FasterTransformer,DeepSpeed-MII,FlexFlow Server,LMDeploy等等等等。但是这些框架大部分支持的模型都很少，或只支 ......
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。 一.Baichuan2模型 B ......
玩一玩“baichuan2”，很强的中文开源模型，2060s即可流畅运行！
OpenAI ChatGPT出来后，热闹了好一阵子！ 先是一波大厂闭源PK。然后Meta不按套路出牌，直接放出来开源的Llama1-2 后来就百花齐放了。 但是外国的模型默认情况下中文支持都不好。 另外很多开源模型，最简单的对话都一塌糊涂。 今天来玩一个不错的中文开源模型。 先来简单看下本地运行的效 ......
16G内存+CPU本地部署ChatGLM2/Baichuan2推理（Windows/Mac/Linux）
概述 本文使用chatglm.cpp对中文大语言模型（LLM）进行量化与推理，支持ChatGLM2-6B、Baichuan2-13B-Chat等模型在CPU环境16G内存的个人电脑上部署，实现类似ChatGPT的聊天功能。支持的操作系统包括Windows、Mac OS、Linux等。 其中，量化过程 ......
text-generation-webui试用 windows平台 以及目前比较好的开源中文模型 Baichuan-13B-Chat测试
随着llama的大模型发布，个人也可以在自己电脑上运行生成文本的大模型，建议用大显存的显卡，比如2080ti11g ， 3060 12g ， 3090 24g。 找这篇文章操作 https://openai.wiki/text-generation-webui.html 其中最麻烦的是安装依赖，这是 ......