上界

一、概述Ο，读音：big-oh；表示上界，小于等于。 Ω，读音：big omega、欧米伽；表示下界，大于等于。 Θ，读音：theta、西塔；既是上界也是下界，称为确界，等于。 ο，读音：small-oh；表示上界，小于。 ω，读音：small omega；表示下界，大于。 Ο是渐进上界，Ω是渐进下 ......

机器学习希望最小化模型的期望（泛化）误差$L$，即模型在整个数据分布上的平均误差。然而我们只能在训练集上最小化经验误差$\hat{L}$，我们期望通过最小化经验误差来最小化泛化误差。但是训练数据和数据真实分布之间是有差异的，又根据奥卡姆剃刀原理，在训练误差相同的情况下，模型复杂度越小，泛化性能越好， ......

预备 0.1 渐进符号 其实不少高等数学 / 数学分析教材在讲解无穷小的比较时已经相当严谨地介绍过大 O、小 O 记号，然而各种历史习惯记法的符号滥用（abuse of notation）[1] 直到现在都让笔者头疼. These notations seem to be innocent, but ......