几个概念
- 预训练
- 自训练
- 自监督学习
- 半监督学习
- 监督学习
- 无监督学习
区分
预训练
- 广义上讲：是对一个模型进行“预先训练”，以完成后续的下游任务
- 狭义上讲（更常用）：在大规模无标注语料上，用自监督的方式训练模型
自训练
- 常应用于CV领域
- 有一个Teacher模型[公式]和一个Student模型[公式]，首先在标注数据上训练[公式]，然后用它对大规模无标注数据进行标注，把得到的结果当做伪标注数据去训练[公式]
- 使用少量的标记数据和大量的未标记数据对模型进行联合训练
预训练与自训练是同级概念，其中分别可以与“监督/半监督/无监督/自监督”进行组合
监督与无监督
半监督
- 没有太多意义的一个概念
- 其中的代表即自训练，甚至基本等同
自监督
- 是狭义上“预训练”的实现方法
- 与完全不受监督的设置相比，自监督学习使用数据集本身的信息来构造伪标签
- 是一种具有监督形式的特殊形式的非监督学习方法
深度学习中的预训练与自训练
原文：https://www.cnblogs.com/Chaosun/p/14637070.html
