训练过程中的误差，就是训练误差。
在验证集上进行交叉验证选择参数（调参），最终模型在验证集上的误差就是验证误差。
训练完毕、调参完毕的模型，在新的测试集上的误差，就是测试误差。
假如所有的数据来自一个整体，模型在这个整体上的误差，就是泛化误差。通常说来，测试误差的平均值或者说期望就是泛化误差。
综合来说，它们的大小关系为
训练误差 < 验证误差 < 测试误差 ～= 泛化误差
训练误差、测试误差、泛化误差的区别
原文：https://www.cnblogs.com/clemente/p/12594300.html
