概率估计方法-526互联

概率估计方法

在实践中，概率分布通常是未知的，如何从样本中识别出潜在的概率分布是统计估计。

参数方法
- 极大似然估计MLE
- 最大化后验估计MAP
非参数方法
- 直方图方法
- 核密度估计KDE
- 最近邻密度估计NNDE

两种观点（关于参数方法\(\theta\)）

假设我们有一个样本数据集合\(D=\{X^1,X^2,\dots,X^n\}\)，其中每个样本\(X^i=(x_1^i,x_2^i,\dots,x_m^i)\)都是从一个未知分布\(p(X;\theta)\)中独立地抽取得到的。我们要通过这些样本数据，估计出这个未知分布的某些参数\(\theta=(\theta_1,\theta_2,\dots,\theta_b)\)。

频率派和贝叶斯派是概率统计学中两个主要的派别，它们对于统计推断的基本假设和方法有不同的观点。

频率派认为，概率是事件在长期重复试验中出现的频率，因此概率是客观存在的，不依赖于任何主观假设。在频率派的框架下，统计推断的目标是从样本中推断出总体的未知参数，并通过置信区间和假设检验等方法对统计结论进行评估。频率派的方法通常基于假设检验和置信区间，强调的是样本的规模和可靠性，而不考虑先验知识和主观因素。
贝叶斯派则认为，概率是在已知先验知识的情况下，根据新的数据更新后验概率的一种度量。因此，贝叶斯派方法强调的是先验知识和主观因素的重要性。在贝叶斯派的框架下，统计推断的目标是基于已知的数据和先验知识，推断出未知参数的后验分布，并通过后验分布的点估计和区间估计等方法对统计结论进行评估。

一般来说\(p(X;\theta)\)结构是给定的，例如假设\(p\)为高斯分布，\(\theta\)就是\(\mu,\Sigma\)；假设\(p\)为一个神经网络模型，\(\theta\)就是所有神经网络参数

1. 频率派观点（参数\(\theta\)是未知常量）

极大似然估计（Maximum Likelihood Estimation，简称MLE）是一种常用的参数估计方法。其基本思想是在给定观测数据的情况下，寻找一个能够最大化样本似然函数的参数值，作为总体参数的估计值。

对于给定的样本数据，我们可以计算出其似然函数 \(L(\theta)\)，它表示在给定参数 \(\theta\) 的情况下，这个样本数据出现的概率密度函数值的乘积。

\[L(\theta)=\prod_{i=1}^{n}p(X^i;\theta) \]

其中 \(X^i\) 表示样本数据中的第 \(i\) 个样本观测值。

MLE的核心思想就是在所有可能的参数取值中，寻找一个能够最大化似然函数 \(L(\theta)\) 的参数 \(\hat\theta_{MLE}\)，此时的密度估计\(p(X;\hat\theta_{MLE})\)，即：

\[\begin{aligned} \hat\theta_{MLE}&=\underset{\theta}{\operatorname{arg max}} L(\theta) \cr &=\underset{\theta}{\operatorname{arg max}} \log L(\theta) \cr &=\underset{\theta}{\operatorname{arg max}} \log \prod_{i=1}^{n}p(X^i;\theta) \cr &=\underset{\theta}{\operatorname{arg max}} \sum_{i=1}^{n}\log p(x^i;\theta) \end{aligned} \]

简单情况下，如果\(L(\theta)\)可微，我们会使用数值优化方法来求解上式，以找到最大化对数似然函数的参数 \(\hat\theta_{MLE}\)。求解的方法是直接对对数似然函数求导，并令其等于 0，得到：

\[\frac{\partial }{\partial \theta}\log L(\theta)=\sum_{i=1}^{n}\frac{\partial}{\partial \theta}\log p(X^i;\theta)=0 \]

极大似然估计可能存在多个估计值，这时需要根据具体情况选择最优的估计值。另外，极大似然估计也可能出现无解或者不稳定的情况，需要进行额外的处理或者使用其他的估计方法。

MLE具有良好的渐进性质，当样本量充分大时，MLE的估计结果具有一致性、渐进无偏性、渐进正态性和渐进有效性等性质。

参数计算：梯度下降、EM算法

模型选择：KL散度、AIC信息论准则（大样本）、交叉检验

2. 贝叶斯派观点（参数\(\theta\)是随机变量）

在贝叶斯统计学中，参数的估计是通过后验概率分布来实现的，\(\theta \sim p(\theta)\)。在给定数据集 \(D\) 的情况下，参数 \(\theta\) 的后验概率分布可以表示为：

\[p(\theta|D) = \frac{p(D|\theta) p(\theta)}{p(D)} \]

其中，\(p(D|\theta)\) 表示数据集 \(D\) 在给定参数 \(\theta\) 的条件下的似然函数，\(p(\theta)\) 表示参数 \(\theta\) 的先验分布，\(p(D)\) 表示数据集 \(D\) 的边缘概率分布。

先验分布：贝叶斯统计学中，将参数视为随机变量，引入了先验分布用于描述参数的不确定性信息。先验分布可以是任何概率分布，通常是基于领域知识或历史数据来选择的。
后验概率分布：在贝叶斯统计学中，参数的估计不再是一个点估计值，而是一个后验概率分布。后验概率分布表示参数在给定数据的情况下的不确定性，它可以用于计算置信区间、预测区间等信息。
边缘概率分布：在贝叶斯统计学中，边缘概率分布是指在所有可能参数值上的联合概率分布的积分，边缘概率分布是计算后验概率分布时的归一化常数，通常可以通过数值积分或MCMC等方法进行计算。

\[p(D) =\int p(D,\theta) d\theta =\int p(D|\theta)p(\theta) d\theta=\int \prod_{i=1}^{n}p(X^i;\theta)p(\theta)d\theta \]

贝叶斯因子：贝叶斯因子是用于比较两个模型相对拟合数据的相对证据的指标。贝叶斯因子等于两个模型的边缘概率分布的比值，即：

\[\text{BF}_{ij} = \frac{p(D|M_i)}{p(D|M_j)} \]

其中，\(M_i\) 和 \(M_j\) 分别表示两个模型，\(p(D|M_i)\) 和 \(p(D|M_j)\) 分别表示数据集 \(D\) 在模型 \(M_i\) 和 \(M_j\) 下的边缘概率分布。当 \(\text{BF}_{ij}\) 大于1时，说明模型 \(M_i\) 比模型 \(M_j\) 更能解释数据。

贝叶斯预测分布（Bayesian predictive distribution）是贝叶斯统计学中的一个概念，它描述了基于已知数据和模型参数的情况下，对未知数据的预测分布。贝叶斯预测分布是一种计算密度的方法，即计算参数模型\(p(X|\theta)\)在后验概率\(p(\theta|D)\)上的期望。

\[\begin{aligned} \hat p_{Bayes}(X)&=\int p(X|\theta)p(\theta|D) d\theta \cr &=\int p(X|\theta)\frac{p(D|\theta) p(\theta)}{p(D)} d\theta \cr &=\int p(X|\theta)\frac{\prod_{i=1}^{n}p(X^i;\theta) p(\theta)}{\int \prod_{i=1}^{n}p(X^i;\theta')p(\theta') d\theta'} d\theta \end{aligned} \]

如果参数模型\(p(X|\theta)\)和先验概率\(p(\theta)\)是给定的，那贝叶斯推测分布原理上可以不通过任何学习计算出来，然而，如果\(\theta\)的维数过高，那么上面两个积分式计算起来会很复杂。因此，在贝叶斯推理中一个主要的技术问题是如何高效地处理高维积分。

为了简单地处理上面的积分，解析地获得后验概率 \(p(\theta|D)\)是一种好方式。一种可能的方式是手动选择先验概率\(p(\theta)\)，然后就可以清楚地得到后验概率\(p(\theta|D)\)的参数形式。另一种可能的方式是求积分式的解析近似。此外还有方法就是直接使用后验概率求单点的\(p(\theta|D)\)，即最大化后验估计。

最大化后验概率 (Maximum a posteriori estimation，MAP) 是另一种一种常用的参数估计方法，它的本质是在贝叶斯统计学框架下，使用后验概率最大化来确定参数的点估计值。在 MAP 方法中，通过最大化后验概率 \(p(\theta|D)\) 来确定参数的点估计值。如果样本是独立同分布的取出来的，计算公式为

\[\begin{aligned} \hat{\theta}_{MAP}&=\underset{\theta}{\operatorname{arg max}} p(\theta|D) \cr &=\underset{\theta}{\operatorname{arg max}} p(D|\theta) p(\theta) \cr &=\underset{\theta}{\operatorname{arg max}} \prod_{i=1}^{n}p(X^i;\theta) p(\theta) \cr &=\underset{\theta}{\operatorname{arg max}} \sum_{i=1}^{n}\log p(X^i;\theta) + \log p(\theta) \end{aligned} \]

此时的密度估计为\(p(X;\hat\theta_{MAP})\)。前一项就是MLE，后一项是正则化项，因此MAP也被称为修正的极大似然估计。