模式识别自学笔记:最小错误率贝叶斯决策

发布时间 2024-01-08 19:35:34作者: 不喝酒不喝酒不

目标:判断特征x属于标签ω1还是ω2

似然度 = 条件概率密度p(x|ωi) * 先验概率p(ωi)

后验概率p(ωi|x) = 条件概率密度 * 先验概率 / 特征向量的概率分布

比较方法一:直接比较分子大小

由于比较后验概率大小时,分母特征向量的概率分布与特征x无关,比较的后验概率的两个分母(特征向量的概率分布)相同,故只比较分子似然度即可。分子大的后验概率大,而“使错误率最小的分类决策就是使后验概率最大的决策”,故错误率小。

比较方法二:比较似然比阈值λ和似然比l(x)

似然比阈值λ = P(ω2) / P(ω1) 即二类先验概率除以一类先验概率(二除一)
似然比l(x) = p(x|ω1) / p(x|ω2) 即一类条件概率密度除以二类条件概率密度(一除二)
似然比大,x属于ω1
似然比小,x属于ω2

比较方法三:(负)对数似然比比较

负对数似然比阈值λ = ln[ P(ω2) / P(ω1) ]
负对数似然比h(x) = - ln[l(x)] = - lnp(x|ω1) + p(x|ω2) 即将除法变成减法便于运算,另外整体加了一个负号。
将负对数似然比与负对数似然比阈值作比较
前者小的,x属于ω1l
前者大的,x属于ω2

图像直观描述:

特征越多,坐标系的维度越多。

高维特征的最小错误率贝叶斯决策:

先将每个特征分别用一维最小贝叶斯处理,再将后验概率或分子似然度看成一个判别函数,比较各类判别函数,用判别函数值最大的一个作为决策结果。