Skip-gram基本思想
根据中心词来预测上下文。
Skip-gram计算方法
采用滑动窗口机制，窗口中心为中心词w，根据中心词w推断窗口内其他词，也就是上下文词c。
假设有单词序列：“鸡你太美”，窗口大小win为2，也就是取中心词左右两边的一个单词。
则根据中心词预测上下文的概率为：P(你|鸡) P(鸡|你)P(太|你) P(你|太)P(美|太) P(太|美)
计算目标就是使得这个概率连乘数值最大。
因为概率是小于0的数，越乘越接近于0，因此取个log。
公式可以改写为
表示对于每个中心词，计算其上下文的概率。
关于P(c|w;θ)的计算，必须满足两个条件：
-
- P(c|w;θ)在0和1范围内
- 对于所有的上下文，P(c|w;θ)的总和为1。
所以使用softmax函数：
uc表示上下文单词的向量表示
vw表示中心词的向量表示
U表示所有可用的上下文集合。
公式的意思也就是：给定中心词和给定的上下文 占 该中心词与所有上下文组合 中的比例，也就是特定中心词和特定上下文出现的概率。
将其代入原式得：
Skip-gram优化目标
