按照huggangingface上的说明文档,进行一 一 学习的
dmis-lab/biobert-v1.1 · Hugging Face
BertConfig:
包含BERT模型所有配置参数的类。它定义了模型的大小,例如隐藏层的数量、注意力头的数量等。
BertTokenizer:
负责将文本转换为模型可以理解的token(词或子词单元)的类。
BertTokenizerFast:
是BertTokenizer
的快速版本,使用Rust来提高tokenization的速度。
TFBertTokenizer:
TensorFlow版本的BERT tokenizer,用于在TensorFlow框架中使用BERT。
Bert specific outputs:
指的是BERT模型执行不同任务时返回的特定输出结构。
BertModel:
BERT模型的核心类,可以输出多种格式的隐藏状态,用于不同的任务。
BertForPreTraining:
一个特别为BERT预训练设计的类,包含了MLM(掩码语言模型)和NSP(下一句预测)的头部,可以直接用于BERT的预训练。
BertLMHeadModel:
一个包含语言模型头部(通常是线性层)的BERT模型,用于根据上下文生成或预测下一个token。
BertForMaskedLM:
专门用于执行MLM任务的BERT模型,这个模型添加了一个头部,专门用于预测掩码位置的token。
BertForNextSentencePrediction:
用于执行NSP任务的BERT模型,这个模型可以预测第二个句子是否是第一个句子的逻辑后继。
BertForSequenceClassification:
这个类在BERT基础上添加了一个分类头部,用于序列级别的分类任务,例如情感分析。