基本概念：
损失函数：计算的是一个样本的误差
代价函数：是整个训练集上所有样本误差的平均
目标函数：代价函数 + 正则化项
实际应用：
损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念。
即最优化经验风险和结构风险，而这个函数就被称为目标函数
目标函数、损失函数、代价函数
原文：https://www.cnblogs.com/pacino12134/p/11219390.html
