一、设计系统
1、基本步骤
1.特征选择(关心的信息)
2.近邻测度(是否相似)
3.聚类准则(优化目标)
4.聚类算法(依照近邻测度,追求聚类准则)
5.结果验证(逼近正确结果)
6.结果判定(专家判定)
二、聚类
要求理解掌握各种模式相似性测度。写出公式，分析特点、应用场景区别，根据具体数值计算模式相似性。
1、聚类的基本应用
减少数据
假说生成
假说检验
基于分组的预测
2、相似度(欧式距离、马氏距离、夹角余弦)
2.1、欧氏距离（距离测度）
两点间距离
2.2、⭐马氏距离（距离测度）
注：对矩阵求逆
注注：ppt题目
2.2.1、马氏距离性质
对一切非奇异线性变换都是不变的。即，具有坐标系比例、旋转、平移不变性，并且从统计意义上尽量去掉了分量间的相关性。
2.3、夹角余弦（相似测度）
忽略矢量长度情况下，两矢量是否相近（角度）
三、特征选择与提取
要求掌握单类、多类模式的特征提取。要求掌握特征白化（L8-特征白化(2)）的概念原理。
---PPT例题3.2 3.3
特征白化（L8-特征白化(2)）的概念原理：ppt
1、特征选择和特征提取的异同
（1）特征选择：从L个度量值集合中按一定准则选出供分类用的子集，作为降维（m维，m< L）的分类特征。
（2）特征提取：使一组度量值 通过某种变换产生新的m个特征 ，作为降维的分类特征 。
特征选择:从原特征集合中选出子集(物理、结构特征)
特征提取:使原特征集合通过变换产生较少的新特征(数学方法)
2、对特征的要求
(1)具有很大的识别信息量。即应具有很好的可分性。
(2)具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。
(3)尽可能强的独立性。重复的、相关性强的特征只选一个。
(4)数量尽量少，同时损失的信息尽量小。
特征提取方法
3、⭐重点：K-L变换，非常神秘的算法
四、判别函数
要求掌握MED分类器（L7-MED分类器）。包括概念原理、推导过程、计算过程、存在问题，与MCID的区别。
1、概念
判别函数的定义：用来对模式进行分类的准则函数（用线划分区域）
1.1、一般形式
其中
1.2、增广形式
即把一般形式的wn+1纳入模式向量和参数向量中
其中
2、⭐几何性质
对于区域正负的判定用特殊值
2.1、两类
2.2、多类
2.2.1、ωi/非ωi两分法
如：对某一模式区，di(X)>0超过一个，或全部的di(X)<0 ， 分类失效。相当于不确定区(indefinite region ，IR)
例题：
2.2.2、ωi/ωj两分法
注意这里dji=-dij，转换时记得加负号
2.2.3、ωi/ωj两分法特例
大白话就是把X代入每一个di，选出唯一最大值，则X属于ωi
特点：
是第二种情况的特例。由于dij(X)= di (X) － dj (X) ，若在第三种情况下可分，则在第二种情况下也可分，但反过来不一定。
除边界区外，没有不确定区域。
例题：
注：ωi的判决函数就是拿di减去其他d
ωi/非ωi两分法和ωi/ωj两分法的比较
对于M类模式的分类， ωi/非ωi两分法共需要M个判别函数，但ωi/ωj两分法需要M(M-1)/2个。当时M>3时，后者需要更多个判别式（缺点），但对模式的线性可分的可能性要更大一些（优点）。
五、支持向量机，先jump
六、统计
最小错误
最小风险
np