PreTrainedModel 中 from_pretrained 和 load_state_dict 的关联

发布时间 2023-11-09 23:37:39作者: WActen

from_pretrained

  1. AutoTokenizer.from_pretrained:从path/vocab.json中加载tokenizer

  2. AutoConfig.from_pretrained:从path/config.json中加载模型配置信息

    • 更新模型配置信息:model = Model(config)
  3. PreTrainedModel.from_pretrained:加载模型结构和模型参数

load_checkpoint

从 checkpoint 中加载模型 parameter,而不加载模型结构