Rotary

1 旋转角度计算 计算公式如下，其中d为词嵌入维度， \[\theta_j=10000^{-2(j-1)/d},j\in [1,2,\ldots,d/2] \]# 计算词向量元素两两分组之后，每组元素对应的旋转角度 # 维度：[dim / 2] freqs = 1.0 / (theta ** (to ......

原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ  ......