pretrained
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
PreTrainedModel 中 from_pretrained 和 load_state_dict 的关联
from_pretrained AutoTokenizer.from_pretrained：从path/vocab.json中加载tokenizer AutoConfig.from_pretrained：从path/config.json中加载模型配置信息 更新模型配置信息：model = Mode ......
UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.解决办法
87iuiu由于ii from torchvision import models # 旧版本的写法，将在未来的torchvision 0.15版本中被Deprecated model_old = models.resnet50(pretrained=True) # deprecated model ......
[论文精读][计算生物][蛋白质预训练表示]Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein Structure Decoy
笔者正在调研市面上的蛋白表示方法，论文方法过于数理的部分会被抽象带过。 ## Basic Information: * Title: Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein St ......
HuggingFace | HuggingFace中from_pretrained函数的加载
我们使用huggingface的`from_pretrained()`函数加载模型和`tokenizer`，那么加载这些需要什么文件？ ![](https://img2023.cnblogs.com/blog/3085423/202307/3085423-20230729184714304-1663 ......
Proj. CAR Paper Reading: CodeBPE: Investigating Subtokenization Options for Large Language Model Pretraining on Source Code
## Abstract 本文：探索LLM在source code上pretrain时的subtokenization效果。 subtokenization: split long tokens into smaller subtokens, in order to ensure the relati ......
pretrain
# BACKBONE ## 前言 本篇博客记录常见backbone，具体如下： 1. ResNet 2. HRNet 2. Mobilenetv1 2. Mobilenetv2 2. Mobilenetv3 ## ResNet ## HRNet HRNet打通了多个视觉任务， 姿态估计参考[HRNe ......