V100

近期，不论是国外的 ChatGPT，还是国内诸多的大模型，让 AIGC 的市场一片爆火。而在 AIGC 的种种智能表现背后，均来自于堪称天文数字的算力支持。以 ChatGPT 为例，据微软高管透露，为 ChatGPT 提供算力支持的 AI 超级计算机，是微软在 2019 年投资 10 亿美元建造一台 ......

最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......