1、先验概率：根据以往经验分析得到的概率
2、后验概率：基于新的信息，修正先验概率后获得的更接近实际情况的概率估计
3、最大似然估计：寻找能够以较高概率产生观察数据的系统参数
4、目标函数：用设计变量来表示所追求的目标形式（最优化经验风险和结构风险）
5、代价函数：整个训练集上所有样本误差的平均
6、损失函数：计算的是一个样本的误差（损失函数和代价函数是同一个东西）
7、风险函数：损失函数的期望值
8、结构风险：函数类型（次方项），正则化引入的原因，模型复杂度问题
9、经验风险：损失函数中的值，代价函数
10、判别模型：条件模型（条件概率模型），目标函数对应分类的准确率
11、生成模型：联合概率密度分布（增加了先验概率）
原文：https://www.cnblogs.com/tyh666/p/11492109.html