袋外错误率

袋外错误率（Out-of-Bag Error）是在使用自助采样（Bootstrap Sampling）构建集成模型时的一个重要评估指标，尤其是在随机森林中常被使用。在自助采样中，由于每个模型的训练集都是通过有放回地从原始数据集中采样得到的，一部分样本可能没有被采样到，这部分未被采样到的样本称为袋外样本（Out-of-Bag Samples）。

袋外错误率是通过在每个基学习器（如决策树）的构建过程中，使用未被采样到的袋外样本来评估模型的性能。具体计算方法如下：

1. 对于每个样本，记录它在每个模型的训练集中是否被采样到。
2. 对于每个模型，用它未被采样到的样本集计算模型的预测误差。

袋外错误率是所有模型的袋外误差的平均值。这个指标提供了一个不需要额外验证集的模型性能评估方式，因为袋外样本没有参与模型的训练过程，可以看作是未见过的数据。

袋外错误率的计算过程对于每个模型都是独立的，因此它可以用来估计整体集成模型的性能。通常，袋外错误率被认为是一个相对可靠的性能度量，尤其适用于数据集较小、没有足够验证数据的情况。

在随机森林等集成学习方法中，袋外错误率可以用来帮助选择模型参数，比如树的数量（n_estimators），以及进行模型的调优和比较。

袋外错误率（Out-of-Bag Error）和OOB（Out-of-Bag）是在随机森林中经常提到的两个相关但不同的概念。

1. OOB（Out-of-Bag）：

   • OOB是指在使用自助采样（Bootstrap Sampling）构建随机森林时，每个基学习器（如决策树）在训练时使用的数据集中可能有一些样本未被采样到，这些未被采样到的样本就是OOB样本。每个样本在每棵树的训练集中的被采样情况是独立的。OOB样本用于评估每棵树的性能，计算袋外误差。

2. 袋外错误率（Out-of-Bag Error）：

   • 袋外错误率是使用OOB样本来计算的模型性能指标。对于每个模型，使用未被采样到的OOB样本计算模型的预测误差，然后将所有模型的袋外误差进行平均，得到袋外错误率。袋外错误率用于估计整个随机森林模型的性能。

总体来说，OOB是随机森林中对于每个基学习器的样本选择情况的描述，而袋外错误率是通过利用这些未被采样到的样本来评估整个随机森林模型的性能。在计算袋外错误率时，通常使用OOB样本来评估每个基学习器的性能，然后将这些性能进行平均，以得到对整个模型的评估。这两个概念通常是在随机森林中一起使用的。

以下是计算袋外错误率的一般步骤：

1. 对每个样本记录被采样的情况：

   • 在构建随机森林的过程中，对于每个样本，记录它在每个基学习器（比如每棵决策树）的训练集中是否被采样到。这可以通过构建每个基学习器时记录样本的袋外（Out-of-Bag）情况来实现。

2. 对每个基学习器计算袋外误差：

   • 对于每个基学习器，使用其对应的袋外样本（未被采样到的样本）来计算模型的预测误差。这可以是分类问题中的错误率或回归问题中的均方误差。

3. 计算袋外错误率：

   • 对所有基学习器的袋外误差进行平均，得到整体随机森林的袋外错误率。

具体的计算公式可以用以下的步骤表示：

令：

袋外错误率的计算公式为：