Abstract
通常希望具有一些用于面部检测器的内置方案以自动适应例如特定用户的相册（目标域）。 我们提出了一种新颖的面部检测器自适应方法，只要存在目标域的代表性图像，无论它们是否被标记，并且更重要的是，不需要访问源域的训练数据，它就起作用。 此外，它不会对从源域学到的知识造成灾难性干扰，因此，适应的面部检测器保持与原始源中的旧检测器大致相同的性能。因此，我们对面部检测器的适应方法类似于 流行的语言模型插值技术; 它可以开辟一个新的方向逐步训练面部探测器域。 我们报告了广泛的实验结果，以验证我们对两个大规模基准面部检测器的方法。
link
@article{AbdullahJamal:2018vy,
author = {Abdullah Jamal, Muhammad and Li, Haoxiang and Gong, Boqing},
title = {{Deep Face Detector Adaptation Without Negative Transfer or Catastrophic Forgetting}},
year = {2018},
pages = {5608--5618}
}
tag
face、半监督学习
笔记
- 提出了一种新颖的面部检测器自适应方法
- 这篇文章用的还是faster-rcnn的那一个网络，应该是重新设计了特征
- 弱监督 有意思
- 文章当中使用的FDDB数据集
- 还是和faster rcnn在比，这样真的可以吗？
- 本文方法三个特点：
- 避免negative transfer
- 不依赖于源数据来进行适应
- 我们努力防止我们的方法遭遇灾难性遗忘或所谓的源域干扰
- 本文方法总结
- 我们认为这些属性在以前的工作中缺失，但应该被良好的人脸检测器自适应算法所拥有。
- 在对相关工作进行审查后，我们在第3节中描述了监督，半监督和无监督设置的方法（第2节）。
- 我们在第4节中对两个大规模基准面部检测器进行了广泛的实验研究。
- 相关工作
- Domain adaptation，DA，中文可翻译为域适配、域匹配、域适应，是迁移学习中的一类非常重要的问题，也是一个持续的研究热点。Domain adaptation可用于计算机视觉、物体识别、文本分类、声音识别等常见应用中。这个问题的基本定义是，假设源域和目标域的类别空间一样，特征空间也一样，但是数据的分布不一样，如何利用有标定的源域数据，来学习目标域数据的标定？
- 这篇文章指出了现有的DA方法的缺陷，对于人脸检测Face Detection这种大数据集的任务，需要源域数据的传统DA方法肯定是不行的。
- 这里我还需要进一步了解DA方面的背景知识，还有DA方面采用的传统浅层学习方法和现在的DNN如何结合？特别是本文针对的人脸检测的任务。
- 这篇文章的做法是考虑deep face detectors的cost function和classifier
- Negative transfer，负迁移，迁移学习的一个不足。
- 这篇文章用“安全的半监督学习驱动的新的成本函数来解决它”。
- 尽管如此，本文设计成本函数的方式是将其与深层模型无缝集成。
- 此外，推导出无监督自适应的分析形式，摆脱了繁琐的EM风格优化。- -
- Catastrophic forgetting，灾难性遗忘或干扰是指预先训练好的网络在针对新任务进行调整后无法很好地完成旧任务。
- 这篇文章认为：处理域自适应的灾难性遗忘问题可能更容易，因为源和目标域共享相同的语义标签，这可以被视为顺序多任务学习的特例。我们正好利用这种特性来重新参数化目标分类器作为源分类器和偏移量。
- Approach 方面
- \(F(\mathbf{x};θ)\)，神经网络提取出来的特征。
- 参考文献41，42，43需要再读。
- 当目标域中没有可用的标签时，这篇文章找到了一个鲁棒性强的目标人脸检测器，在最坏的情况下改进了原始检测器。
- \(RES_{t}\left(\tilde{\mathbf{w}}, \tilde{\theta }\right)\) 就是Residual， 残差，这里理解为两个交叉熵（也就是KL散度）的差值。
- 原始的检测器符号含义：\(\theta\)，除了分类器之外的参数；\(\mathbf{w}\)，分类器参数
- 重新参数化二分类的face classifier的参数为\(\mathbf{w}+\mathbf{u}\)，看成残差来学习，个人认为如果重新设置了分类器的参数，那么新得到的\(\mathbf{v}=\mathbf{w}+\mathbf{u}\)，在残差计算的公式\[\min_{\mathbf{u}, \tilde{\theta}}\frac{\lambda}{2}\left \| \mathbf{u} \right \|_2^2+\mathbb{E}_t\max_{y_t\in\{0,1\}} \mathbf{RES}_{t}\left(\mathbf{w}+ \mathbf{u},\tilde{\theta }\right)\]中最小化\(\mathbf{u}\),其实也就是最小化\(\mathbf{v}-\mathbf{w}\)，而第二项的最大化应该取负号改成最小化。
翻译
5. Conclusion
在本文中，我们重新审视了基于深度学习的人脸检测器新环境下的人脸检测器适应问题。 我们提出的方法提供了三个关键属性，我们认为这些属性在现有的面部检测器自适应工作中缺失或未明确讨论。 简而言之，面部检测器的调整应该在没有源域数据的情况下执行，几乎没有负转移，并且不会导致对源域的灾难性遗忘。 我们的方法通过两个残差明确地说明了所有要求：避免负转移的剩余损失和减轻灾难性遗忘的剩余分类。 我们通过调整两个大型源数据集中的两个面部检测器到两个较小的目标数据集来证明了我们方法的有效性。
论文笔记-Deep Face Detector Adaptation without Negative Transfer or Catastrophic Forgetting
原文：https://www.cnblogs.com/hearwind/p/9340551.html
