机器学习-KNN算法

KNN思想

• 如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个级别，则该样本也属于这个级别
• 少数服从多数的原则

实现KNN算法方式

1. 计算要预测的样本与空间中所有样本的距离
2. 取出与当前样本距离最近的K个样本
3. 统计这个K个样本中，大部分属于哪一个类别
4. 大部分属于哪一个类别， 那么这个就可以预测出属于这个类别

距离测度公式

• 欧式距离，两点之间的直线距离
  

   

   

• 平方欧式距离
  

   

   

• 曼哈顿距离 没有斜路
  

   

   绿色和红色距离一样

• 余弦距离
  

   

   伊朗10次和1次的余弦角是0，所以一类

• 闵可夫斯基距离，对几组距离的定义
  

   

   

机器学习-KNN算法

原文：https://www.cnblogs.com/bigdata-familyMeals/p/14614280.html