贝叶斯公式的推导及理解

发布时间 2023-04-06 17:38:26作者: DreamW1ngs

https://www.bilibili.com/video/BV1Ei4y1F72M,https://www.bilibili.com/video/BV1R7411a76r和https://www.bilibili.com/video/BV1o7411a76m 三个3Blue1Brown的视频给予了很大的参考,这篇博客可以看做这几个视频的观后笔记总结

贝叶斯公式推导

假定已知“图书管理员和农民的比例是1:20”,Steve的职业是其中之一,他最有可能是什么?

此时我们的回答肯定是“农民“,因为众所周知 农民的概率更高。

现在给出额外的信息“Steve是一个温顺且办事井井有条的人”, 问题依旧,Steve的职业是图书管理员和农民,他最有可能是什么?

我们此时会抉择,因为我们知道图书管理员往往是一个温顺且办事井井有条的人,这似乎 提高 了Steve是图书管理员的概率,也就意味着在我们心中,在“Steve是一个温顺且办事井井有条的 条件 下,Steve是图书管理员的可能性“不再是\(\frac{1}{20+1}\),而是比他大的某一个值,因为条件 佐证 更偏向于图书管理员这个职业。

这里对我们之前已知的所有信息进行一些形式化定义。

众所周知的“图书管理员和农民的比例是1:20”,这是一个先验概率,对应于Steve为图书管理员的可能性,记为\(P(H)=\frac{1}{20+1}\),其中Steve为图书管理员是我们的假设\(H\)

额外的信息“Steve是一个温顺且办事井井有条的人”,是我们得到的证据\(E\),证据也对应了一些先验概率\(P(E)\),指的是这条证据成立的概率。但我们此时需要思考的是这个证据与假设的关系,也就是假设如果成立的话,这个证据也同时成立的概率,我们把他叫做似然。换句话说,在这里指“图书管理员是一个温顺且办事井井有条的人”的可能性,记为\(P(E|H)\),假设这个值是\(0.4\)

我们现在需要知道“Steve是一个温顺且办事井井有条的人的条件下,Steve是图书管理员的概率”,也就对应着\(P(H|E)\),它也叫后验概率,是我们依据证据信息\(E\)对先验概率\(P(H)\)的修正结果,下面是一些等式的推导:

\[\begin{aligned} P(H|E)&=\frac{\text{H,E同时成立的人数}}{E成立的人数}=\frac{P(H,E)}{P(E)}\\ &=\frac{\text{H成立的人数}\times \text{H成立时,E也成立的概率}}{E成立的人数}=\frac{P(H)\times P(E|H)}{P(E)} \end{aligned} \]

贝叶斯概率图

这里出现了\(P(H,E)\)代表证据和假设同时成立的概率,它与\(P(H|E)\)不同。前者是在整个概率空间(即全概率1)中求取\(H,E\)同时成立的概率。后者是在假设\(H\)成立这个概率空间中求取\(H,E\)同时成立的概率(因为是在假设\(H\)成立的概率空间,\(H\)肯定成立了,因此也可以看做是求此时\(E\)成立的概率)。

值得注意的是为什么我们直觉性认为这个证据有助于让我们判定Steve是一个图书管理员,那是因为“农民(即不是图书管理员)是一个温顺且办事井井有条的人”记为\(P(E|\neg H)\)的可能性更小,假设这个值是\(0.1\),它小于\(0.4\)

\[P(E)=\underbrace{P(E|H)\times P(H)}_{温顺且办事井井有条的图书管理员}+\underbrace{P(E|\neg H)\times P(\neg H)}_{\text 温顺且办事井井有条的农民}\\ \]

\(P(H)\)\(P(\neg H)\)是固定的,因此更大的\(P(E|H)>P(E|\neg H)\)意味着在\(P(E)\)中图书管理员的占比更大,这个占比对应的值也就是我们刚才计算得出的后验概率\(P(H|E)\),因此这里直觉是正确的。

快速计算技巧

假定给出一个疾病的发病率为1%,病人被某种诊断手段判为阳性的概率为90%,非病人被判为阴性的概率为91%,假设现在你被测为阳性,你有多大概率患有该疾病。

这里同样可以进行一系列形式化定义,假设用\(T\)表示患病,\(F\)表示不患病,\(N\)表示阴性,\(P\)表示阳性。那么\(P(T)=0.01,P(P|T)=0.9,P(N|F)=0.91,P(T|P)=?\)

直接看到这一串数字,我们往往可能会直觉性的认为这个答案是90%。这种直觉来自于“病人被判为阳性的概率为90%”,语句顺序变化,即“阳性为病人的概率为90%”,答案也正确。通过之前的介绍,可以知道这里因果发生了导致,答案是可能发生变化的,从似然变成了后验概率。

与上述一样这里需要求给出证据\(P\)的后验概率\(P(T|P)\)。当然可以直接套公式计算,这里有小技巧,原本我们计算的是概率,可以通过计算比率,如下公式所示。

\[\begin{aligned} \frac{P(T|P)}{P(F|P)}&=\frac{\frac{P(T,P)}{P(P)}}{\frac{P(F,P)}{P(P)}}=\frac{P(T,P)}{P(F,P)}\\ &=\frac{P(T)}{P(F)}\times \frac{P(P|T)}{P(P|F)} \end{aligned} \]

这里\(\frac{P(T)}{P(F)}\)很容易通过先验概率获得,而\(\frac{P(P|T)}{P(P|F)}=\frac{P(P|T)}{1-P(N|F)}\)也在已知条件中给出,它也叫做贝叶斯因子。贝叶斯因子反映了证据\(P\)是否有助于假设\(T\)的成立,如果值大于\(1\)就有助于,相反小于\(1\)则无异于。可以看出来如果证据与假设独立,即\(P(P|T)=P(P|F)=P(P)\),则贝叶斯因子为\(1\),并不能修改对假设的概率判定。