今天看了下这两个算法的思路，比较容易理解，就在这里简单记录一下
ID3算法：决策树中的一种经典算法，属于有监督学习和分类算法，如果遇到连续值需离散处理，以香农熵作为信息获取度量，通过计算特征的信息熵增益来确定一个个的根节点
退出条件如下：
1、标记属性一致 2、无可再分属性，这时就投票决定
缺点：对于连续值的处理效果比较差
KNN：以”距离”为度量，K的值对算法结果影响较大，所针对的数据集不应太大，最终也是投票得出预测结果。
距离可以采用两点间距离，K的解释为距离该预测点的最近K个点，然后根据投票，得到一个可能性最大的标记
原文：https://www.cnblogs.com/jianbo1995/p/9655692.html