参考:
https://blog.csdn.net/chacha_/article/details/134527000
这个讲的很好.
\(\pi_r\)是我们要的解,我们(4)两边取log得到.
y1,y2是两个生成的句子,x是prompt.p是y1比y2好的优化函数.r是reward函数.
机器学习里面一个变量右上角写\(*\),就表示他的估计.也就是真实的计算.不写\(*\) 表示理论值.
带入上面公式. \(\sigma\)是 1+exp(x)再一起取倒数.
dpo笔记
发布时间 2023-12-25 17:25:44作者: 张博的博客