1.点估计
令 {x (1) ,...,x (m) } 是 m 个独立同分布（i.i.d.）的数据点。点估计（point esti-mator）或统计量（statistics）是这些数据的任意函数：
良好的估计量的输出会接近生成训练数据的真实参数 θ
点估计也可以指输入和目标变量之间关系的估计。我们将这种类型的点估计称为函数估计
2.偏差
估计的偏差被定义为：
其中期望作用在所有数据（看作是从随机变量采样得到的）上，θ 是用于定义数据生成分布的 θ 的真实值
如果 bias( ? θ m ) = 0，那么估计量?θ m 被称为是无偏（unbiased），这意味着 E( ? θ m ) = θ。
如果 lim m→∞ bias( ? θ m ) = 0，那么估计量?θ m 被称为是渐近无偏（asymptotically unbiased），这意味着 lim m→∞ E( ? θ m ) = θ
3.方差和标准差
估计量的方差（variance）就是一个方差
方差的平方根被称为标准差（standard error），记作SE( ? θ)
均值的标准差被记作
均值 ? μ m 为中心的 95% 置信区间是
算法 A 比算法 B 好，是指算法 A 的误差的 95% 置信区间的上界小于算法 B的误差的 95% 置信区间的下界
均方误差
原文：https://www.cnblogs.com/bigcome/p/10035663.html