pretrainedmodel from_pretrained load_state_dict
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？
闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode ......
PreTrainedModel 中 from_pretrained 和 load_state_dict 的关联
from_pretrained AutoTokenizer.from_pretrained：从path/vocab.json中加载tokenizer AutoConfig.from_pretrained：从path/config.json中加载模型配置信息 更新模型配置信息：model = Mode ......
模型超参数基本都没改，测试时加载模型报模型结构不匹配，设置模糊加载模型即：model.load_state_dict(torch.load(model_path), strict=Fasle)，但效果出奇的差
# 原因 跑模型的时候，用的是多卡加载torch.nn.DataParallel(self.model)，测试是用的单卡模糊加载保存的模型权重，很多模型参数都没有加载成功，自然会导致测试效果很差。 # 解决方法 ` # 如果你想要用nn.DataParallel来加载模型 state_dict = ......
HuggingFace | HuggingFace中from_pretrained函数的加载
我们使用huggingface的`from_pretrained()`函数加载模型和`tokenizer`，那么加载这些需要什么文件？  in loading state_dict for PoseHigherResolutionNet: Missing key(s) in state_dict: "features.0.1.weight", ......