Skip-gram
[NLP复习笔记] 基于负采样的 Skip-gram 及 SGD 训练公式推导
1. one-hot 向量 我们先了解一下 \(\text{one-hot}\) 向量。\(\text{one-hot}\) 编码是表示分类变量的常见方法，尤其在数据预处理和机器学习的特征工程中。一个 \(\text{one-hot}\) 向量是一个其中只有一个元素是 1，其余为 0 的向量。 假设 ......
Skip-Gram模型
Skip-gram基本思想 根据中心词来预测上下文。 Skip-gram计算方法 采用滑动窗口机制，窗口中心为中心词w，根据中心词w推断窗口内其他词，也就是上下文词c。 假设有单词序列：“鸡你太美”，窗口大小win为2，也就是取中心词左右两边的一个单词。 则根据中心词预测上下文的概率为：P(你|鸡) ......