首页 > 其他 > 详细

FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning

时间:2020-05-25 16:12:40      阅读:102      评论:0      收藏:0      [点我收藏+]

我的结论(仅仅代表个人观点)

* 论文代码:https://github.com/swordcheng/FCSR-GAN

* 分辨率不高,16*16 or 32*32/--------------128*128

* 适用于正脸,不适用于侧脸

* 恢复出来的遮挡区域,依旧模糊

* 关键点,图卷积 and FPN结构

1、题目

《FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning》

作者:

技术分享图片

 

 技术分享图片

2、创新点

技术分享图片

 

* The effectiveness of existing face super-resolution approaches is not known when they are applied to low resolution face image with occlusions。

* It is not known whether the face completion approaches work for low-resolution face images or not.

**  In this paper, we propose an end-to-end trainable framework based on a generative adversarial network (GAN) for joint face completion and super-resolution via a single model (namely FCSR-GAN).

** This work is an extension of our previous work of FG2019《Fcsr-gan: End-to-end learning for joint face completion and super-resolution》

 3、网络框架

技术分享图片

技术分享图片

技术分享图片

 4、loss函数

 技术分享图片

 

 技术分享图片

 在论文的实验中,参数是技术分享图片

 5、实验

AA、实验数据集

a、CelebA数据集:

数据:10177图,202599个脸

划分:162770训练,19867验证,19962测试。

b、Helen数据集:

数据:2330个脸

划分:2000训练,300测试。

CelebA数据集,进行模型的训练、测试和验证。Helen数据集,交叉验证,对模型进行进一步的评估。

BB、实验细节

* Adam优化算法,学习率10.^(-4),kernel size=3, batch size=24

* CeleA数据对齐到144*144大小,然后随机裁剪得到128*128图像。

* Helen采用MTCNN检测人脸特征点,做5点对齐,然后resize脸到128*128*3。

a、the multitask experiments(又要做遮挡,又要做超分辨率)

技术分享图片

做了两个实验:

* 4倍下采样,实验SRFC*4

   bicubic interpolation method,resize128*128图像,到32*32,随机加入一个binary mask,32*32图中binary mask大小是8*8

* 8倍下采样,实验SRFC*8

   bicubic interpolation method,resize128*128图像,到16*16,随机加入一个binary mask,16*16图中binary mask大小是4*4

b、the face completion experiments(做遮挡)

 技术分享图片

给128*128图像,加入一个binary mask,binary mask大小是32*32

c、the face super-resolution experiments(做遮挡)

 技术分享图片

八倍下采样,bicubic interpolation method,resize128*128图像,到16*16

CC、结果评价指标

 技术分享图片

用眼睛看,or用数据说话。

 6、实验结果

a、the multitask experiments

 技术分享图片

b、the face completion experiments

 技术分享图片

论文给出的结论是:

 技术分享图片

(仅仅代表个人观点)But,通过图,观察不到这个结论啊。

遮挡面积越小,固定不动的区域越多,观察整个图的视觉效果好,是因为不动区域多引起的,并不是说遮挡区域的恢复能力变好了啊。

把遮挡区域单拿出来看,遮挡部位得到的恢复,都一样的模糊。

c、the face super-resolution experiments

 技术分享图片

 d、Others

M1:含有FPN

M2:含有图卷积

M3:含有IGCN和FPN

******************************************************************

没有FPN结构,效果不好

采用传统的卷积而不采用图卷积,效果不好

 技术分享图片

 **************************

 技术分享图片

 **************************************

技术分享图片

 ************************************************

技术分享图片

 

FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning

原文:https://www.cnblogs.com/wjjcjj/p/12957381.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!