526互联

自然语言处理预训练——全局向量的词嵌入

发布时间 2023-11-17 14:20:17作者: Yohoc

带全局语料统计的跳元模型

 

 

 

GloVe模型

 

 

从条件概率比值理解GloVe模型

 

总结

  • 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。

  • 交叉熵损失可能不是衡量两种概率分布差异的好选择，特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。

  • 对于GloVe中的任意词，中心词向量和上下文词向量在数学上是等价的。

  • GloVe可以从词-词共现概率的比率来解释。