1.KNN算法的定位
KNN算法属于分类算法，所以它是有监督学习里面的一部分，且属于有监督学习里的分类问题
- KNN的计算量很大
-
KNN理论上比较成熟且算法简单易懂，易实现
2.KNN算法的核心
-
简单地说---“近朱者赤，近墨者黑”
- 进行分类的时候，即将被分类的这个样本的附近（特征空间中最邻近）离它最近的K个节点数量中，K个中哪个类的节点数量最多，它就是属于那一类
- K就是离样本最近的所有节点数量
- K是超参数，需要通过验证集不断更新完善
如上图：此时K=5,黄色的点是样本，即将对它进行预测，所以此时找到它最近的5个点分别是图中小圆圈圈起来的部分，五个里面红色居多，所以就把它归为红色这一类。
3.KNN的操作方法：
- 分类预测：多数表决，就是刚刚说的
- 回归预测：平均值法，就是取点数量的平均值作为判断基准
4.K值对KNN分类的影响
过拟合和欠拟合
很显然的K值不是越大越好
- K越大，可以想象当他无穷大，要找到很多个点，而这很多个点里面可能一个类只有一个点，很多类别，极端的情况是一个类仅有一个点，进来的每一个自成一类，所以会导致分类分出来很粗糙，类的区分度不大，就会产生欠拟合
- K越小，最小取为1，类似的，分类分的很细，以至于最后分的类别很多，容易过拟合，当一个新的噪声点来的时候会严重偏离原来的类别，就是泛化能力很弱，过拟合产生
如上：当K很小，分得很细致，来一个新的点就会往中间突出的那个地方延申，当一个噪声点来时，就会导致分类误差很大。而当K不断变大，最后会变成全蓝或全红。
5.最后，总结
-
KNN：“近朱者赤，近墨者黑”；
-
KNN核心：找到最近的K个点，再在K个点里面找同类别点数最多的点，此类就是要归过去的类；
-
K为超参数需要不断更新完善；
-
分类预测：多数表决；回归预测：平均值法；
-
K越大，欠拟合（因为分的类别很多，类与类的区分度太小，极端情况一类一个，进来的每一个自成一类）；K越小欠拟合（分类分的很细，以至于最后分的类别很多）；