首页 > 其他 > 详细

【论文笔记】Self-Supervised GAN :辅助性旋转损失的自监督生成式对抗网络

时间:2020-01-27 13:49:47      阅读:258      评论:0      收藏:0      [点我收藏+]

这是CVPR2019上UCLA和google brain的一个工作。模型非常简单,利用辅助损失解决GAN不稳定问题;用旋转分类将辅助分类器对label的需求去掉,使图片可以直接对自己标注类别。

Self-Supervised GANs via Auxiliary Rotation Loss
论文地址:https://arxiv.org/abs/1811.11212
GITHUB代码:https://github.com/vandit15/Self-Supervised-Gans-Pytorch

论文指出,GAN模型的重要问题是不稳定(instability, divergence, cyclic behavior, or model collapse)。判别器通常学习了一个分布的特征,但后来的样本往往是不符合这个分布的,如果放任不管会造成模型欠拟合。为了提高模型的稳定性,研究人员又提出了CGAN,生成器和判别器通过使用有标签的数据来记住之前的数据分布。但是,CGAN的主要不足在于该模型依赖于标注好的数据。即使存在标注好的数据,这些数据往往也是sparse,并且仅仅只包含了一小部分高层抽象信息。

作者举了两个例子来说明当前模型的问题(判别器的遗忘问题),在下图中,蓝色虚线是当前的GAN,由于对模型分布记忆出现混乱,导致准确率下降。

技术分享图片

在下图中,左侧表示GAN在每1K数据后换一次数据分布。可以看到数据分布换了以后,原始的GAN会存在较大的误差,几乎又回到了原始未学习的状态。

技术分享图片

于是,作者提出了self-supervised GAN (SS-GAN),通过加入自监督能够有效的避免遗忘带来的不稳定。作者受到《Unsupervised Representation Learning by Predicting Image Rotations》这篇文章的启发,该方法使用的是基于图像旋转的自监督方法。该方法将几何变换定义为0,90,180,270度的图像旋转,为了让一个卷积网络能够识别图像中的旋转变换,需要理解图像中描述的对象概念。尽管这个自监督方法非常简单,但是为特征学习提供了一个强大的替代监督信号。

SS-GAN的整体架构如下图所示,具体实现:

  1. 第一个判别器按照以前的方法,输出 true/false 的判断结果;
  2. 第二个判别器倒数第二层输出,作为特征,加上线性分类器,预测旋转的类型。

技术分享图片

作者指出,SS-GAN将对抗训练与自监督学习相结合,实现了CGAN的优势,而不需要任何标注数据。SS-GAN实现了大规模无条件 ImageNet 图像生成,这项目工作是向着高质量、无监督的自然图像合成方向迈出的重要一步。

【论文笔记】Self-Supervised GAN :辅助性旋转损失的自监督生成式对抗网络

原文:https://www.cnblogs.com/gaopursuit/p/12235568.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!