Pretraining
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
[论文精读][计算生物][蛋白质预训练表示]Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein Structure Decoy
笔者正在调研市面上的蛋白表示方法，论文方法过于数理的部分会被抽象带过。 ## Basic Information: * Title: Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein St ......
Proj. CAR Paper Reading: CodeBPE: Investigating Subtokenization Options for Large Language Model Pretraining on Source Code
## Abstract 本文：探索LLM在source code上pretrain时的subtokenization效果。 subtokenization: split long tokens into smaller subtokens, in order to ensure the relati ......