基本概念
- loss function（损失函数）: 一个样本的误差
- cost function（代价函数）: 整个训练集上的所有样本误差的平均
- objective function (目标函数)：代价函数+正则化项
- risk function（风险函数）：损失函数的期望
- empirical risk（经验风险）：f(x)关于训练集的平均损失。
- regularization（正则化）：\(J(f)\)，用来度量模型的复杂度。
目标函数和损失函数的区别
- 损失函数：拟合越好，损失越小。(过拟合)
- 目标函数：优化的目标，代价函数+正则化项
目标函数 objective function 简介
原文：https://www.cnblogs.com/xuwanwei/p/13198141.html
