滚动为了保证标签不被大量改变，我们在合成图像和改善图像上手动画椭圆，并计算中心之间的距离。图 9 是 50 个此类中心区距离的散点图。合成图像和对应改善图像的瞳孔中心的绝对距离非常小：1.1 +/- 0.8px（眼睛宽度 = 55px）。
图 9. 合成图像和真实图像瞳孔中心距离的散点图。
如何调整超参数
G 的初始化
首先我们只在自正则损失中初始化 G，这样它就可以生成模拟版本的合成输入。通常 G 需要 500-2000 步（在没有训练 D 的情况下）。
在每个训练迭代中 G 和 D 的不同步骤
我们在生成器和鉴别器每一个训练迭代中使用了不同的训练步数。对于手势估算使用深度，我们在每个 D 的步数中使用 2 个 G 步数；而对于目视估计任务，我们最终找到在每个 D 步数中使用 50 个 G 步数能达到最佳性能。我们发现鉴别器与生成器相比，前者能更快地收敛，部分原因是鉴别器中有 batch-norm。所以我们将 #D 的步数修改为 1，并从小数字开始变化 #G 的步数，根据鉴别器损失值缓慢增加。
学习速率和 stopping 标准
我们发现让学习速率保持在非常小的数值上（约 0.0001）并训练很长时间能达到最好的效果。该方法有意义的原因可能是这样可以让生成器和鉴别器不会发生突变，让其中一个甩开另一个。我们发现很难通过可视化训练损失来停止训练。取而代之的是，我们保存训练图像作为训练进度，并在改善化图像看起来与真实图像相近时停止训练。
定性结果
为评估改善图像的视觉质量，我们设计了一个简单的用户调查，请参与者将图像按真实图像和改善合成图像进行分类。调查发现参与者很难区分真实图像和改善图像。经过综合分析，10 名参与者在 1000 次试验中选对标签的次数是 517 次，即他们不能确切地辨认出真实图像和改善合成图像的区别。但是，在对原始合成图像和真实图像进行测试的时候，我们向每位参与者展示真实图像和合成图像各 10 张。在 200 次试验中，参与者一共选对了 162 次。图 10 展示了一部分合成图像和对应的改善图像实例。
图 10. 使用上文所述方法改善后的眼睛图像实例。
定量结果
图 11 展示了使用改善数据的性能提升，与使用原始合成数据的训练效果相比。在下图中有两个重点：（1）使用精细图像进行训练优于使用原始合成图像的训练；（2）使用更多合成数据可进一步提高性能。在图 12 中，我们将目视估计误差与其他目前最好的方式进行了比较，展示了提升测试数据的真实性可以显著提高模型生成质量。
图 11. 使用合成和改善化图像进行注视估计的性能对比。评估使用了真实图片。
图 12. 在 MPIIGaze 数据集中不同方法之间的注视估计性能对比。
相关工作
近年来，使用对抗性训练方式的研究正在变得越来越流行。Isola 等人的图像到图像（image-to-image）转换论文 [4] 解释了一种将图像从一种形式转换为另一种的方法，但它需要像素级的对应。随后，该研究组又提出了非配对的图像到图像转换方法 [5]，讨论了放宽对像素关联的限制，并根据我们的策略使用了生成器历史来提升鉴别器的能力。英伟达 5 月份提出的无监督图像到图像转换网络 [6] 使用 GAN 和变分自动编码器的组合来学习源域和目标域之间的映射。Costa 等人随后受我们的启发展示了生成眼底图像的研究 [7]。而 Sela 等人也使用了类似的自正则化方法来进行面部几何重建 [8]。Lee 等人从局部关键图像块上使用鉴别器来学习合成新的图片 [9]。若想获知有关本研究的更多细节，请查阅苹果的 CVPR 论文《Learning from Simulated and Unsupervised Images through Adversarial Training》[10]。
论文：通过对抗性训练从模拟和无监督图像中学习（Learning from Simulated and Unsupervised Images through Adversarial Training）
论文地址：https://arxiv.org/abs/1612.07828
