1.贝叶斯学派和频率学派
在数理统计领域，贝叶斯学派和频率学派两派争论已久，关于两派的具体思想不做深入研究，仅探讨它们在机器学习中的一点粗浅的应用。
机器学习中的朴素贝叶斯方法和逻辑回归相比，朴素贝叶斯判据需要一个事件的先验概率和相应的类条件概率，可用贝叶斯公式看出。
而逻辑回归，使用的是最大似然的思想，它不考虑条件的先验分布，将其视为均匀的分布。通过sigmod函数，将数量转化为概率，然后通过
概率的独立分布，进而得到代价函数。其实它实质上还是一个超平面分类器，只不过代价函数不直接显式得由样本到平面的距离范数来度量，
不过还是可以转化为这种形式。
2.感知器和逻辑回归
其实，对于二分类问题，线性的分类器都是寻找一个最优的超平面进行划分。只不过代价函数、分类函数有所区别。
从感知器发展，进而产生了逻辑回归和SVM的思想。感知器由于阶跃的分类函数在原点处不可导，进而产生了用sigmod代替的逻辑回归。最后，
发展出了判定最优超平面的SVM方法。
原文：http://www.cnblogs.com/fushi/p/7631835.html