似然函数与损失函数

发布时间 2023-05-25 18:39:15作者: 同淋雪

似然函数与损失函数

一、误差

对于每个样本,真实值等于预测值与误差之和。

image-20230506175536797

每一个样本的误差,都是独立且同分布的,并且均服从高斯分布

image-20230506175646366

由于误差服从高斯分布,误差的概率分布可表示为P(e(i)),于是theta的概率分布也可表示出来,如下

image-20230506180302096

二、似然函数

我们的目标是找出使预测值最接近真实值的参数theta,于是我们引入似然函数。似然函数的意义是表示相似程度,也就是说什么样的参数能使预测值更接近真实值。似然函数越大,就表示越接近。问题就转化为,当theta为何值时似然函数最大。

image-20230506181517852

为啥似然函数里会使用累乘操作呢?这是希望通过大量数据提升准确性

然而,当样本数据数据量太大也就是m很大时,这个式子是很难求解的,于是引用对数似然的方式,因为对数可将累成转化为累加。

image-20230506181846974 image-20230506182026662

由于我们的目的是求最佳的theta,而不是求似然函数,所以取对数并不会改变theta。

三、损失函数

化简对数似然函数后,式子等价于前面的常数项减去后面的未知项,要使对数似然函数最大,可让未知项最小。

image-20230506182846270