二、数据预处理

　　缺失值处理  数据标准化 单独讲解

　　1、数据预处理的步骤

　　　　数据清洗 → 数据集成 → 数据规约 → 数据变换

　　2、数据预处理的方法

　　①数据清洗

　　　　填补缺失值、光滑噪声数据、识别和删除离群点、解决数据不一致性

　　　　（1）缺失值处理

　　　　　　基于变量的分布特性及其重要性（信息量、预测能力）采用不同的方法 → 链接

　　　　（2）离群点处理

　　　　　　常指特定分布区域外的数据，也称噪声

• • • 伪异常：因特定的运营动作产生，非数据本身问题，如：双十一成交量远高于平时
    • 真异常：不是因特定的运营动作而产生、数据本身分布异常，即离群点　　　

　　　　　　离群点的检测方法：

　　　　　　　　简单统计分析、3$\sigma$原则、基于绝对离差中位数（MAD）、基于距离、基于密度、基于聚类

　　　　　　简单统计分析

　　　　　　　　散点图、箱线图、各分位点判断

　　　　　　　　如：pandas的describe 可以生成描述性统统计数据，总结数据分布的集中趋势、分散、形状等。　　　　　　　　

　　　　　　　　　　DataFrame.describe(self, percentiles=None, include=None, exclude=None)

　　　　　　3$\sigma$原则 → 讲解链接

　　　　　　　　若数据存在正态分布，偏离均值的3$\sigma$之外的点为离群点。

　　　　　　　　距离平均值三倍$\sigma$之外的值出现的概率很小，应满足 $$P(|x-\mu|\gt 3\sigma)\le 0.003$$

　　　　　　基于绝对离差中位数（MAD）

　　　　　　　　标准差是数据到均值的平方，偏差权重更大，异常值对结果会产生重要影响。

　　　　　　　　MAD，少量的异常值不会影响最终的结果，比标准差更能适应数据集中的异常值。$$MAD = median（（|X_i​ − median（X）∣）$$

　　　　　　　　先计算数据与它们的中位数之间的偏差，MAD就是这些偏差的绝对值的中位数。

　　　　　　　　如：数据集(1, 1, 2, 2, 4, 6, 9)的中位数为2，数据点到2的绝对偏差为(1, 1, 0, 0, 2, 4, 7)，

　　　　　　　　　　该偏差列表的中位数为1（排序后的绝对偏差为(0, 0, 1, 1, 2, 4, 7)），所以该数据的绝对中位差为1。

　　　　　　基于距离

　　　　　　　　通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象。

　　　　　　　　缺点：计算复杂度较高，不适用于 大数据集和存在 不同密度区域的数据集。

　　　　　　基于密度

　　　　　　　　离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集。

　　　　　　基于聚类

　　　　　　　　利用聚类算法，丢弃远离其他簇的小簇。

　　　　　　总结来看，在数据处理阶段将离群点作为影响数据质量的异常点考虑。

　　　　　　一般采用较为简单直观的方法，结合箱线图和MAD的统计方法判断变量的离群点。

　　　　　　具体的处理手段：

• • • 根据异常点的数量和影响，考虑是否将该条记录删除，此方法可能导致信息损失较多；
    • 若对数据做了log-scale 对数变换后消除了异常值，则此方法生效，且不损失信息；
    • 平均值或中位数替代异常点，简单高效，信息损失较少；
    • 在训练树模型时，树模型对离群点的鲁棒性较高，无信息损失，不影响模型训练效果；

　　　　（3）噪声处理

　　　　　　噪声是变量的随机误差和方差，是观测点和真实点之间的误差，即$obs = x + \epsilon$。

　　　　　　可能由硬件故障、编程错误、语音等识别出错导致，外部因素，非数据本身原因。

　　　　　　通常的处理办法：对数据进行分箱操作，等频或等宽分箱，用每个箱的平均数、中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用。

#生成分箱间隔的函数
numpy.logspace()    #对数分箱   
numpy.linespace()    #线性分箱

　　②数据集成

　　　　将来自多个数据源的数据结合、存放在一个一致的数据存储，如数据仓库中。

　　　　这些源可能包括多个或多类数据库、数据方、数据格式。

　　　　（1）实体识别问题

　　　　　　如：如何确认一个数据库中的customer_id和另一个数据库中的cust_number指的是同一实体?

　　　　　　通常，数据库和数据仓库有元数据——记录数据本身属性的数据，元数据可以帮助理清数据血缘，避免数据数据关联错误。

　　　　（2）冗余问题

　　　　　　一个属性存在于多张表内，属性或命名的不一致也可能导致数据集中的冗余。

　　　　　　如：平方米和平方英尺，使用不同单位记录同一个属性。

　　　　　　用相关性检测冗余：数值型变量可计算相关系数矩阵 → 冗余的数据的相关系数是相同的

　　　　　　　　　　　　　　　标称型变量可计算卡方检验 → 卡方独立性检验

　　　　（3）数据值的冲突和处理

　　　　　　不同数据源在统一合并时，保持规范化并去重。

　　③数据规约

　　　　海量的数据进行分析和挖掘需要很多时间，数据规约技术能得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。

　　　　在归约后的数据集上挖掘将产生相同（或几乎相同）的分析结果，更省时间。

　　　　（1）维度规约

　　　　　　用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关。

　　　　　　维度归约通过删除不相关的属性，减少数据量，并保证信息的损失最小。

　　　　　　属性子集选择　　单变量重要性

• • • 属性子集选择　
      找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。

　　　　　　　　逐步向前选择：

　　　　　　　　　　由空属性集开始，选择原属性集中最好的属性，添加到该集合中。
　　　　　　　　　　其后的每一次迭代，将原属性集剩下的属性中的最好属性添加到该集合中。

　　　　　　　　逐步向后删除：

　　　　　　　　　　由整个属性集开始，每一步，删除掉尚在属性集中的最坏属性。

　　　　　　　　向前选择和向后删除结合：

　　　　　　　　　　向前选择和向后删除方法结合在一起，每一步选择一个最好属性，剩余属性中删除一个最坏的属性。

　　　　　　　　决策树归纳：

　　　　　　　　　　不出现在树中的所有属性假定不相关，出现在树种的属性纳入归约集。

　　　　　　　　　　（利用决策树最大熵增益的思想，作特征选择）

　　　　　　　　属性构造：

　　　　　　　　　　根据高和宽属性，可以构造出面积属性，属性构造可以发现数据属性间的缺失的联系信息。

• • • 单变量重要性　　　
      分析单变量和目标变量的相关性，删除预测能力较低的变量，通常从统计学和信息的角度去分析。

　　　　　　　　pearson相关系数和卡方检验，分析目标变量和单变量的相关性。

　　　　　　　　回归系数：训练线性回归或逻辑回归，提取每个变量的表决系数，进行重要性排序。

　　　　　　　　树模型的Gini指数：训练决策树模型，提取每个变量的重要度，即Gini指数进行排序。

　　　　　　　　Lasso正则化：训练回归模型时，加入L1正则化参数，将特征向量稀疏化。

　　　　　　　　IV指标：风控模型中，通常求解每个变量的IV值，来定义变量的重要度，一般将阀值设定在0.02以上。

　　　　基于业务的用户或商品特征，如果需要较多的解释性，采用统计上的一些方法，如变量的分布曲线，直方图等，再计算相关性指标，最后去考虑一些模型方法。如果建模需要，则通常采用模型方法去筛选特征，如果用一些更为复杂的GBDT，DNN等模型，建议不做特征选择，而做特征交叉。

　　　　（2）维度变换

　　　　　　维度变换是将现有数据降低到更小的维度，尽量保证数据信息完整性。

• • • 主成分分析（PCA）和因子分析（FA）：PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来描述当前的特征向量。
    • 奇异值分解（SVD）：SVD的降维可解释性较低，且计算量比PCA大，一般用在稀疏矩阵上降维，如图片压缩、推荐系统。
    • 聚类：将某一类具有相似性的特征聚到单个变量，从而大大降低维度。
    • 线性组合：将多个变量做线性回归，根据每个变量的表决系数，赋予变量权重，可将该类变量根据权重组合成一个变量。
    • 流行学习：流行学习中一些复杂的非线性方法，可参考sklearn。

　　④数据变换

　　　　数据变换包括对数据进行标准化、离散化、稀疏化处理，达到适用于挖掘的目的。

　　　　（1）标准化处理

　　　　　　不同特征的量纲可能不一致，数值间的差别可能很大，需要对数据按照一定比例进行缩放。
　　　　　　特别是基于距离的挖掘方法，聚类，KNN，SVM一定要做规范化处理。

　　　　（2）离散化处理

　　　　　　数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。
　　　　　　分段的原则有基于等距离、等频率或优化的方法。

• • • 模型需要：比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须使用离散型数据。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。
    • 离散化的特征相对于连续型特征更易理解。如：将月薪2000和20000直接转换为离散型数据-低薪、高薪，不用通过数值层面理解差异，表达更加直观。
    • 可以有效的克服数据中隐藏的缺陷，使模型结果更加稳定。

　　　　　　有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。

　　　　　　等频法：使得每个箱中的样本数量相等，例如总样本n=100，分成k=5个箱，则分箱原则是保证落入每个箱的样本量=20。

　　　　　　等宽法：使得属性的箱宽度相等，例如年龄变量（0-100之间），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五个等宽的箱。

　　　　　　聚类法：根据聚类出来的簇，每个簇中的数据为一个箱，簇的数量模型给定。

　　　　（3）稀疏化处理

　　　　　　针对离散型且标称变量，无法进行有序的LabelEncoder时，通常考虑将变量做0，1哑变量的稀疏化处理，例如动物类型变量中含有猫，狗，猪，羊四个不同值，将该变量转换成is_猪，is_猫，is_狗，is_羊四个哑变量。若是变量的不同值较多，则根据频数，将出现次数较少的值统一归为一类'rare'。稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。