一、什么是正则化
英文 Ragularization
使模型普通化、均匀化、一般化，防止或减小 模型的过拟合。
二、正则化项（惩罚项）
英文 Ragularizer（Penalty）
经验风险 -- 经验指模型的预测值和数据真实值的相近程度
结构风险 -- 结构指模型，当数据量偏小时，复杂结构的模型存在过拟合风险
三、具体内容
正则化项可以是模型参数的范数，这里只介绍一范数的L1 和二范数的L2。
1、L1 -- Lasso
一范数L1，实际就是模型参数的绝对值，然后求和：
$\sum_{i} | w_i| $