peft
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
用断点调试阅读peft源码：prefix tuning
今天我们阅读peft源码，主要是为了弄清楚prefix tuning的工作原理和代码细节。 # 模型定义部分 ```python peft_config = PrefixTuningConfig(task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=Fals ......
Telsa T4配置下用peft微调t5模型
记录运行这个代码的过程：https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning # 环境配置 虚拟环境 ```bash python -V conda create -n peft-practice python=3.10 ......
python的peft包导入PeftModel时报importerror-cannot-import-name-unknown-location
一般出现这种问题的原因是该版本的peft包中没有PeftModel，这种情况都需要降级。 我验证了以下，我实在alpaca-lora项目中使用peft,alpaca-lora的项目大概在2个月以前更新，而peft包实在最近更新的4.0版本，而2个月以前peft还是2.0版本，所以我果断把peft降到 ......
大模型入门（五）—— 基于peft微调ChatGLM模型
ChatGLM 是基于 General Language Model (GLM) 架构，针对中文问答和对话进行了优化。经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B， ......
大模型入门（二）—— PEFT
PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4中微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。 1）LORA：LOW-RANK A ......