苹果机器学习期刊首文：提升合成图像的真实性

随着图像技术的最新进步，在合成图像上对模型进行训练也变得更加易于处理，一定程度上避免了对昂贵标注的需求。然而，由于合成图像分布和真实图像分布之间存在差距，从合成图像中进行学习往往可能不会达到所期望的性能表现。为了减小这一差距，我们提出了模拟+非监督学习方法（Simulated+Unsupervised learning，S+U），任务就是通过使用非标注的真实数据来学习一个模型，从而增强模拟器输出的真实性，同时保留模拟器中的标注信息。我们开发出了一种 S+U 学习方法，使用类似于生成对抗网络的对抗型网络，用合成图像作为输入（而不是随机向量）。我们对标准 GAN 算法进行了几处关键性的修改，从而来保存标注，避免失真以及使训练稳定化：（i）一个「自正则化」项，（ii）一个局部对抗损失（local adversarial loss），以及（iii）使用改善图像的历史信息来对鉴别器进行更新。我们通过定性说明和用户研究，展示出了此结构能够生成高真实度的图像。我们通过训练视线估计（gaze estimation）和手势估计（hand pose estimation）的模型对生成图像进行了定量评估。我们在使用合成图像方面展现出了显著的提升效果，并且在没有任何已标注的真实数据的情况下，在 MPIIGaze dataset 数据集上实现了一流的结果。

参考内容：

[1] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, Generative Adversarial Nets. Proceedings Neural Information Processing Systems Conference, 2014.two thousand fourteen
[2] X. Zhang, Y. Sugano, M. Fritz, and A. Bulling, Appearance-based Gaze Estimation in the Wild. Proceedings Computer Vision Pattern Recognition Conference, 2015.two thousand fifteen
[3] E. Wood, T. Baltrušaitis, L.-P. Morency, P. Robinson, and A. Bulling, Learning an Appearance-based Gaze Estimator from One Million Synthesised Images. Proceedings ACM Symposium on Eye Tracking Research Applications, 2016.two thousand sixteen
[4] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros, Image-to-Image Translation with Conditional Adversarial Networks. ArXiv, 2016.two thousand sixteen
[5] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ArXiv, 2017.two thousand seventeen
[6] M.-Y. Liu, T. Breuel, and J. Kautz, Unsupervised Image-to-Image Translation Networks. ArXiv, 2017.two thousand seventeen
[7] P. Costa, A. Galdran, M. I. Meyer, M. D. Abràmoff, M. Niemeijer, A. M.Mendonça, and A. Campilho, Towards Adversarial Retinal Image Synthesis. ArXiv, 2017.two thousand seventeen
[8] M. Sela, E. Richardson, and R. Kimmel, Unrestricted Facial Geometry Reconstruction Using Image-to-Image Translation. ArXiv, 2017.two thousand seventeen
[9] D. Lee, S.Yun, S. Choi, H. Yoo, M.-H. Yang, and S. Oh, Unsupervised Holistic Image Generation from Key Local Patches. ArXiv, 2017.two thousand seventeen
[10] A. Shrivastava, T. Pfister, O. Tuzel, J. Susskind, W. Wang, R. Webb, Learning from Simulated and Unsupervised Images through Adversarial Training. CVPR, 2017.