机器学习中的方差与偏差，bias vs variance

一、方差与偏差文字与数学解释

（1）文字解释

• 偏差：预测值与真实值的差值
• 方差：预测值与训练数据集值的差值

（2）数学解释

• 对测试样本的预测值  $y-f(x;D)$
• 泛化误差：$Err(x)=E[(y-f(x;D))^{2}]$
• 测试样本的均值 $\bar{f}=E_{D}[f(x;D)]$
• 真实值$y_{D}$，数据集上的标签值，y是理论上正确的值。

对泛化误差进行分解：

$Err(x)$$=E[(y-f(x;D))^{2}]$

　　　 $=E_{D}[f(x;D)-\bar{f}+\bar{f}-y_{D}]$

　　　 $=E_{D}[(f(x;D)-\bar{f})^{2}] +E_{D}[(\bar{f}-y_{D})^{2}]+E_{D}[2(f(x;D)-\bar{f})(\bar{f}-y_{D})]$

　　    $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y_{D})^{2}]$

　　    $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y+y-y_{D})^{2}]$

　　    $=E_{D}[(f(x;D)-\bar{f})^{2}]+E_{D}[(\bar{f}-y)^{2}]+E_{D}[(y-y_{D})^{2}]+2E_{D}[(\bar{f}-y)(y-y_{D})]$

　　    $=E_{D}[(f(x;D)-\bar{f})^{2}]+(\bar{f}-y)^{2}+E_{D}[(y-y_{D})^{2}]$

• 方差 $E_{D}[(f(x;D)-\bar{f})^{2}$ 
• 偏差 $(\bar{f}-y)^{2}$ 
• 误差 $E_{D}[(y-y_{D})^{2}]$

二、图形解释

• 中心红点为真实值
• 结合数学解释，如果预测值距离中心点近则为低偏差
• 结合数学解释，如果预测值比较密集则为低方差 

三、偏差还是方差

所以实际情况，我们的方差和偏差都越小越好。

机器学习中的方差与偏差，bias vs variance

原文：https://www.cnblogs.com/ylxn/p/11972391.html