huggingface--bert

发布时间 2023-12-31 00:43:02作者: 黑逍逍

按照huggangingface上的说明文档,进行一 一 学习的

dmis-lab/biobert-v1.1 · Hugging Face

BERT (huggingface.co)

BertConfig:

包含BERT模型所有配置参数的类。它定义了模型的大小,例如隐藏层的数量、注意力头的数量等。

BertTokenizer:

负责将文本转换为模型可以理解的token(词或子词单元)的类。

BertTokenizerFast:

BertTokenizer的快速版本,使用Rust来提高tokenization的速度。

TFBertTokenizer:

TensorFlow版本的BERT tokenizer,用于在TensorFlow框架中使用BERT。

Bert specific outputs:

指的是BERT模型执行不同任务时返回的特定输出结构。

BertModel:

BERT模型的核心类,可以输出多种格式的隐藏状态,用于不同的任务。

 

BertForPreTraining:

一个特别为BERT预训练设计的类,包含了MLM(掩码语言模型)和NSP(下一句预测)的头部,可以直接用于BERT的预训练。

BertLMHeadModel:

一个包含语言模型头部(通常是线性层)的BERT模型,用于根据上下文生成或预测下一个token。

BertForMaskedLM:

专门用于执行MLM任务的BERT模型,这个模型添加了一个头部,专门用于预测掩码位置的token。

BertForNextSentencePrediction:

用于执行NSP任务的BERT模型,这个模型可以预测第二个句子是否是第一个句子的逻辑后继。

BertForSequenceClassification:

这个类在BERT基础上添加了一个分类头部,用于序列级别的分类任务,例如情感分析。