网站关键词工具有哪些,wordpress文章主题,明年做啥网站致富,公司做网页推广要多少钱Progressive Growing of GANs for Improved Quality, Stability, and Variation
公众号#xff1a;EDPJ
目录
0. 摘要
1. 简介
2. GAN 的渐进式发展
3. 使用小批量标准差增加变化
4. 生成器和判别器的归一化
4.1 均衡学习率
4.2 生成器中的像素特征向量归一化
5. 评…Progressive Growing of GANs for Improved Quality, Stability, and Variation
公众号EDPJ
目录
0. 摘要
1. 简介
2. GAN 的渐进式发展
3. 使用小批量标准差增加变化
4. 生成器和判别器的归一化
4.1 均衡学习率
4.2 生成器中的像素特征向量归一化
5. 评估 GAN 结果的多尺度统计相似性
6. 实验
6.1 个人贡献在统计相似性方面的重要性
6.2 收敛性和训练速度
6.3 使用 CELEBA-HQ 数据集生成高分辨率图像
6.4 LSUN 结果
6.5 CIFAR10 IS
7. 讨论
参考
附录
A. 网络结构和训练配置
A.1 用于 CELEBA-HQ 的 1024*1024 网络
S. 总结
S.1 主要思想
S.2 方法 0. 摘要
我们描述了一种新的生成对抗网络训练方法。 关键思想是逐步增长生成器和鉴别器从低分辨率开始我们添加新的层随着训练的进行建模越来越精细的细节。 这既加快了训练速度又极大地稳定了训练使我们能够生成前所未有的质量图像例如 1024*1024 的 CELEBA 图像。我们还提出了一种简单的方法来增加生成图像的变化并达到无监督 CIFAR10 中创纪录的 IS 8.80。 此外我们描述了几个对于阻止生成器和鉴别器之间的不健康竞争非常重要的实现细节。 最后我们提出了一种评估 GAN 结果的新指标无论是在图像质量还是变化方面。 作为额外贡献我们构建了 CELEBA 数据集的更高质量版本。
1. 简介
通常GAN 由两个网络组成生成器和判别器也称为批评器。 生成器从隐编码生成样本例如图像并且这些图像的分布理想情况下应该与训练分布无法区分。 由于设计一个函数来判断是否是这种情况通常是不可行的因此训练鉴别器网络来进行评估并且由于网络是可微分的我们还得到了一个梯度可以用来将两个网络引导到正确的方向。 通常生成器是人们最感兴趣的——鉴别器是一个自适应损失函数一旦生成器被训练它就会被丢弃。
这种方法存在多个潜在问题。 当我们测量训练分布和生成分布之间的距离时如果分布没有实质性重叠即太容易区分则梯度可能或多或少指向随机方向Arjovsky Bottou2017。 最初Jensen-Shannon 散度被用作距离度量Goodfellow 等人2014 年最近那种方法得到了改进Hjelm 等人2017 年并且提出了许多更稳定的替代方案包括最小二乘法least squares (Mao et al., 2016b)、绝对偏差与边距absolute deviation with margin (Zhao et al., 2017) 和 Wasserstein 距离 (Arjovsky et al., 2017; Gulrajani et al., 2017)。 我们的贡献很大程度上与正在进行的讨论正交我们主要使用改进的 Wasserstein 损失但也尝试了最小二乘损失。
生成高分辨率图像很困难因为更高的分辨率使得更容易将生成的图像与训练图像区分开来Odena et al., 2017从而极大地放大了梯度问题。 由于内存限制大分辨率还需要使用较小的小批量这进一步损害了训练稳定性。 我们的主要见解是我们可以从更简单的低分辨率图像开始逐步发展生成器和鉴别器并添加新层随着训练的进行引入更高分辨率的细节。 这极大地加快了训练速度并提高了高分辨率下的稳定性正如我们将在第 2 节中讨论的那样。
GAN 公式没有明确要求整个训练数据分布由训练好的的生成模型表示。 传统观点认为图像质量和变化之间需要权衡但这种观点最近受到了挑战Odena 等人2017。 保留变化的程度目前受到关注并且已经提出了各种测量方法包括初始评分ISSalimans et al., 2016、多尺度结构相似性MS-SSIMOdena et al., 2017Wang 等人2003生日悖论birthday paradoxAroraZhang2017以及对发现的离散模式数量的显式测试Metz等人2016。 我们将在第 3 节中描述我们鼓励变化的方法并在第 5 节中提出一个用于评估质量和变化的新指标。
4.1 节讨论了对网络初始化的微小修改从而使不同层的学习速度更加平衡。 此外我们观察到传统上困扰 GAN 的模式崩溃往往会在十几个小批量的过程中很快发生。 通常当鉴别器超调时它们就会开始导致梯度过大并且当两个网络中的信号幅度不断升级时就会出现不健康的竞争。 我们提出了一种机制来阻止生成器参与这种升级从而解决这个问题第 4.2 节。
我们使用 CELEBA、LSUN、CIFAR10 数据集评估我们的贡献。 我们提高了 CIFAR10 的最佳已发布 IS。 由于基准生成方法中常用的数据集仅限于相当低的分辨率因此我们还创建了 CELEBA 数据集的更高质量版本允许使用高达 1024*1024 像素的输出分辨率进行实验。 该数据集和我们的完整实现可在 https://github.com/tkarras/progressive_forming_of_gans 上找到经过训练的网络可以在 https://drive.google.com/open?id0B4qLcYyJmiz0NHFULTdYc05lX0U 上找到以及结果图像和补充说明数据集、其他结果和隐空间插值的视频位于 https://youtu.be/G06dEcZ-QTg。
2. GAN 的渐进式发展 我们的主要贡献是 GAN 的训练方法我们从低分辨率图像开始然后通过向网络添加层来逐步提高分辨率如图 1 所示。这种增量性质允许训练首先发现 GAN 的大规模结构。 图像分布然后将注意力转移到越来越精细的尺度细节上而不必同时学习所有尺度。 我们使用生成器和鉴别器网络它们是彼此的镜像并且始终同步增长。 两个网络中的所有现有层在整个训练过程中都保持可训练状态。 当新层添加到网络中时我们会平滑地淡入它们如图 2 所示。这避免了对已经训练有素的较小分辨率层的突然冲击。 附录 A 详细描述了生成器和鉴别器的结构以及其他训练参数。
我们观察到渐进式训练有几个好处。 早期较小图像的生成基本上更加稳定因为类别信息和模式较少Odena 等人2017。 通过逐渐提高分辨率我们不断地提出一个比发现从隐向量到最终目标例如1024*1024 图片映射的更简单的问题。 这种方法与 Chen 和 Koltun (2017) 最近的工作在概念上相似。 在实践中它足以稳定训练使我们能够使用 WGAN-GP 损失Gulrajani 等人2017甚至 LSGAN 损失Mao 等人2016b可靠地合成百万像素级图像。
另一个好处是减少训练时间。 随着 GAN 的逐渐增长大多数迭代都是在较低的分辨率下完成的并且获得可比较的结果质量的速度通常会快 2-6 倍具体取决于最终的输出分辨率。
逐步发展 GAN 的想法与 Wang 等人 (2017) 的工作有关他们使用在不同空间分辨率上运行的多个判别器。 这项工作又是由 Durugkar 等人 (2016) 推动的同时使用一个生成器和多个判别器。Ghosh 等人2017用多个生成器和一个鉴别器做了相反的事情。 分层 GANDenton 等人2015Huang 等人2016Zhang 等人2017为图像金字塔的每个级别定义了生成器和鉴别器。 这些方法建立在与我们的工作相同的观察基础上——从隐编码到高分辨率图像的复杂映射更容易逐步学习——但关键的区别在于我们只有一个 GAN而不是它们的层次结构。 与自适应增长网络的早期工作相比例如贪婪地增长网络的增长神经气体growing neural gasFritzke1995和增强拓扑的神经进化neuro evolution of augmenting topologiesStanleyMiikkulainen2002我们只是推迟了预配置层的引入。 从这个意义上说我们的方法类似于自编码器的分层训练Bengio et al., 2007。
3. 使用小批量标准差增加变化
GAN 倾向于仅捕获训练数据中发现的变化的子集而 Salimans 等人2016建议“小批量鉴别”作为解决方案。 他们不仅计算单个图像的特征统计数据还计算整个小批量的特征统计数据从而鼓励生成的和训练图像的小批量显示相似的统计数据。 这是通过在鉴别器末尾添加一个小批量层来实现的该层学习一个大张量将输入激活投影到一组统计数据。 为小批量中的每个示例生成一组单独的统计数据并将其连接到该层的输出以便鉴别器可以在内部使用这些统计数据。 我们极大地简化了这种方法同时也改进了变化。
我们的简化解决方案既没有可学习的参数也没有新的超参数。 我们首先计算小批量上每个空间位置中每个特征的标准差。 然后我们对所有特征和空间位置的这些估计进行平均以获得单个值。 我们复制该值并将其连接到所有空间位置和小批量上产生一个额外的恒定特征图。 该层可以插入鉴别器中的任何位置但我们发现最好将其插入到末尾详细信息请参阅附录 A.1。 我们尝试了更丰富的统计数据但无法进一步改善变化。 在并行工作中Lin 等人 (2017) 提供了关于向鉴别器显示多个图像的好处的理论见解。
变异问题的替代解决方案包括展开判别器Metz et al., 2016来规范其更新以及“排斥正则化器”Zhao et al., 2017它向生成器添加一个新的损失项试图鼓励它对小批量中的特征向量进行正交化。 Ghosh 等人2017的多个生成器也有类似的目标。 我们承认这些解决方案可能会比我们的解决方案增加更多的变化 - 或者可能与其正交 - 但将详细比较留到以后进行。
4. 生成器和判别器的归一化
由于两个网络之间的不健康竞争GAN 很容易出现信号强度升级的情况。 大多数如果不是全部早期解决方案都通过在生成器中通常也在判别器中使用批量归一化的变体Ioffe Szegedy2015Salimans Kingma2016Ba et al.2016来阻止这种情况的发生。 这些归一化方法最初是为了消除协变量漂移covariate shift而引入的。 然而我们还没有观察到这成为 GAN 中的一个问题因此认为 GAN 的实际需求是限制信号幅度和竞争。 我们使用一种不同的方法该方法由两种成分组成两者都不包含可学习的参数。
4.1 均衡学习率
我们偏离了当前细致权重初始化的趋势而是使用简单的 N(0,1) 初始化然后在运行时显式缩放权重。 准确地说我们设置 ^w_i w_i / c其中 w_i 是权重c 是 He 初始化器He et al., 2015中的每层归一化常数。 动态执行此操作而不是在初始化期间执行此操作的好处有些微妙并且与常用的自适应随机梯度下降方法中的尺度不变性相关例如 RMSProp (Tieleman Hinton, 2012) 和 Adam (Kingma Ba, 2015)。 这些方法通过估计的标准差对梯度更新进行归一化从而使更新独立于参数的尺度。 因此如果某些参数的动态范围比其他参数更大则调整它们将需要更长的时间。 这是现代初始化程序导致的情况因此学习率可能同时太大和太小。 我们的方法确保所有权重的动态范围以及学习速度都是相同的。 van Laarhoven (2017) 独立使用了类似的推理。
4.2 生成器中的像素特征向量归一化
为了防止生成器和鉴别器中的幅度由于竞争而失控的情况我们在每个卷积层之后将每个像素中的特征向量归一化为生成器中的单位长度。 我们使用“局部响应标准化”的变体Krizhevsky et al., 2012来做到这一点配置为 其中N 是特征图的数量a_x,y 和 b_x,y 分别是像素 (x,y) 中的原始特征向量和归一化特征向量。 我们发现令人惊讶的是这种严厉的约束似乎不会以任何方式损害生成器并且实际上对于大多数数据集来说它不会对结果产生太大影响但它可以在需要时非常有效地防止信号幅度的升级。
5. 评估 GAN 结果的多尺度统计相似性
为了将一个 GAN 的结果与另一个 GAN 的结果进行比较需要研究大量图像这可能是乏味、困难且主观的。 因此需要依靠从大型图像集合中计算一些指示性度量的自动化方法。 我们注意到MS-SSIMOdena 等人2017等现有方法可以可靠地发现大规模模式崩溃但无法对较小的影响例如颜色或纹理变化的损失做出反应而且它们也不直接评估图像与训练集的相似性方面的质量。
我们的直觉是成功的生成器将生成其局部图像结构与所有尺度的训练集相似的样本。 我们建议通过考虑从生成图像和目标图像的拉普拉斯金字塔BurtAdelson1987表示中绘制的局部图像块的分布之间的多尺度统计相似性来研究这一点从 16×16 像素的低通分辨率开始。 根据标准实践金字塔逐渐加倍直到达到全分辨率每个连续级别将差异编码为前一级别的上采样版本。
单个拉普拉斯金字塔级别对应于特定的空间频带。 我们随机采样 16384 个图像并从拉普拉斯金字塔的每个级别提取 128 个描述符为每个级别提供 2^21 (2.1M) 个描述符。 每个描述符是具有 3 个颜色通道的 7*7 像素邻域表示为 x ∈ R^7*7*3 R^147。 我们将训练集和生成集的 l 级 patch 分别表示为 我们首先对对应于每个颜色通道的平均值和标准差的 进行标准化然后通过计算切片 Wasserstein 距离 来估计统计相似性这是一种有效计算的推土距离 (earthmovers distance, EMD) 随机近似值使用 512 个投影Rabin 等人2011。
直观上小的 Wasserstein 距离表明斑块的分布相似这意味着训练图像和生成器样本在此空间分辨率下的外观和变化都相似。 特别是从最低分辨率 16*16 图像中提取的 patch 集之间的距离表明大规模图像结构的相似性而最精细级别的 patch 编码有关像素级属性的信息例如边缘的锐度和噪声。
6. 实验
在本节中我们将讨论一组用于评估结果质量的实验。 请参阅附录 A 了解我们的网络结构和训练配置的详细描述。 我们还邀请读者查阅随附的视频https://youtu.be/G06dEcZ-QTg以获取其他结果图像和隐空间插值。 在本节中我们将区分网络结构例如卷积层、调整大小、训练配置各种归一化层、小批量相关操作和训练损失WGAN-GP、LSGAN。
6.1 个人贡献在统计相似性方面的重要性
我们将首先使用切片 Wasserstein 距离SWD和多尺度结构相似性MSSSIMOdena 等人2017来评估我们个人贡献的重要性并从感知上验证指标本身。 我们将通过在无监督环境中使用 CELEBA (Liu et al., 2015) 和 LSUN 构建先前最先进的损失函数 (WGAN-GP) 和训练配置 (Gulrajani et al., 2017) 来实现这一目标 BEDROOM (Yu et al., 2015) 分辨率为 128*128 的数据集。 CELEBA 特别适合这种比较因为训练图像包含明显的伪影锯齿、压缩、模糊生成器很难忠实地再现这些伪影。 在此测试中我们通过选择容量相对较低的网络结构附录 A.2来放大训练配置之间的差异并在向鉴别器显示总共 10M 个真实图像后终止训练。 因此结果并未完全收敛。 表 1 列出了几种训练配置中 SWD 和 MS-SSIM 的数值其中我们的个人贡献在基线之上一一累积启用Gulrajani 等人2017。 MS-SSIM 数量是从 10000 对生成的图像中平均得出的SWD 的计算方法如第 5 节中所述。从这些配置生成的 CELEBA 图像如图 3 所示。由于空间限制对于表的每一行该图仅显示了少量示例 但附录 H 中提供了更广泛的集合。直观地说一个好的评估指标应该奖励在颜色、纹理和视角方面表现出大量变化的合理图像。 然而MS-SSIM 没有捕捉到这一点我们可以立即看到配置 (h) 生成的图像明显优于配置 (a)但 MS-SSIM 几乎保持不变因为它仅测量输出之间的变化而不测量与输出之间的相似性。 训练集。 另一方面SWD 确实显示出明显的改善。
第一个训练配置 (a) 对应于 Gulrajani 等人 (2017)具有生成器中的批量归一化、鉴别器中的层归一化以及 64 的小批量大小。(b) 使网络能够逐步增长从而产生更清晰、更可信的输出图像。 SWD 正确地发现生成的图像的分布与训练集更相似。
我们的主要目标是实现高输出分辨率这需要减小小批量的大小以保持在可用内存预算之内。 我们在 (c) 中说明了随之而来的挑战其中我们将小批量大小从 64 减少到 16。生成的图像不自然这在两个指标中都清晰可见。 在 (d) 中我们通过调整超参数以及删除批量归一化和层归一化来稳定训练过程附录 A.2。 作为中间测试 (e*)我们启用了小批量判别Salimans et al.,2016但令人惊讶的是它未能改进任何指标包括测量输出变化的 MS-SSIM。 相比之下我们的小批量标准差 (e) 提高了平均 SWD 分数和图像。 然后我们在 (f) 和 (g) 中实现剩余的贡献从而实现 SWD 和主观视觉质量的整体改善。 最后在h中我们使用了一个完整的网络和更长的训练——我们认为生成的图像的质量至少可以与迄今为止发布的最佳结果相媲美。
6.2 收敛性和训练速度 图 4 说明了渐进式增长对 SWD 指标和原始图像吞吐量的影响。 前两张图对应于没有和有渐进式生长的 Gulrajani 等人 2017的训练配置。 我们观察到渐进式变体具有两个主要优点它收敛到更好的最优值并且还将总训练时间减少了大约两倍。 收敛性的提高可以通过逐渐增加的网络容量所强加的隐式课程学习形式来解释。 如果没有渐进式增长生成器和鉴别器的所有层的任务就是同时为大规模变化和小规模细节寻找简洁的中间表示。 然而随着逐渐增长现有的低分辨率层可能已经很早就收敛了因此网络的任务只是随着新层的引入而通过越来越小的规模效应来细化表示。 事实上我们在图 4(b) 中看到最大规模的统计相似性曲线 (16) 非常快地达到其最佳值并且在整个训练的其余过程中保持一致。 随着分辨率的增加较小尺度的曲线32、64、128逐渐趋于平稳但每条曲线的收敛性同样一致。 通过图 4(a) 中的非渐进式训练SWD 指标的每个尺度大致一致收敛正如预期的那样。
随着输出分辨率的增加渐进式增长的加速也会增加。 图 4(c) 显示了当训练一直进行到 1024*1024 分辨率时训练进度以向鉴别器显示的真实图像数量来衡量作为训练时间的函数。 我们看到渐进式增长取得了显着的领先优势因为网络很浅并且一开始就可以快速评估。 一旦达到全分辨率两种方法的图像吞吐量就相等。 该图显示渐进式变体在 96 小时内达到约 640 万张图像而可以推断非渐进式变体需要大约 520 小时才能达到同一点。 在这种情况下渐进式增长提供了大约 5:4 的加速。
6.3 使用 CELEBA-HQ 数据集生成高分辨率图像
为了在高输出分辨率下有意义地展示我们的结果我们需要足够多样化的高质量数据集。 然而几乎所有以前在 GAN 文献中使用的公开数据集都仅限于相对较低的分辨率从 32*32 到 480*480。为此我们创建了一个高质量版本的 CELEBA 数据集其中包含 30000 个分辨率为 1024 1024 的图像 。 有关生成此数据集的更多详细信息请参阅附录 C。 我们的贡献使我们能够以稳健且高效的方式处理高输出分辨率。 图 5 显示了我们的网络生成的选定 1024*1024 个图像。 虽然百万像素 GAN 结果之前已在另一个数据集中显示过Marchesi2017但我们的结果更加多样化且具有更高的感知质量。 请参阅附录 F 了解更多结果图像以及从训练数据中找到的最近邻图像。 随附的视频显示了隐空间插值并可视化了渐进式训练。 插值的工作原理是我们首先随机化每个帧的隐编码从 N(0,1) 中单独采样的 512 个分量然后使用高斯 ( 45 帧 60Hz) 随时间模糊隐编码最后归一化每个向量到一个超球面上。
我们在 8 个 Tesla V100 GPU 上对网络进行了 4 天的训练之后我们不再观察到连续训练迭代结果之间的质的差异。 我们的实现根据当前输出分辨率使用自适应小批量大小以便最佳地利用可用内存预算。
为了证明我们的贡献在很大程度上与损失函数的选择正交我们还使用 LSGAN 损失而不是 WGAN-GP 损失来训练相同的网络。 图 1 显示了使用我们的 LSGAN 方法生成的 1024*1024 图像的六个示例。 附录 B 中给出了此设置的更多详细信息。
6.4 LSUN 结果 图 6 显示了我们的解决方案与 LSUN BEDROOM 中早期结果之间的纯粹视觉比较。 图 7 给出了 256*256 分辨率 7 个截然不同的 LSUN 类别中的选定示例。附录 G 中提供了来自所有 30 个 LSUN 类别的更大的非策划结果集并且视频演示了插值。 我们不知道大多数类别的早期结果虽然某些类别比其他类别效果更好但我们认为整体质量很高。
6.5 CIFAR10 IS
我们知道CIFAR1010 个类别32 32 个 RGB 图像的最佳 IS 对于无监督设置为 7.90对于标签条件设置为 8.87Grinblat 等人2017。 这两个数字之间的巨大差异主要是由无监督环境中类别之间必然出现的“幽灵”引起的而标签调节可以消除许多此类转换。
当我们所有的贡献都启用后我们在无监督的设置中得到 IS 8.80。 附录 D 显示了一组代表性的生成图像以及更全面的早期方法结果列表。 网络和训练设置与 CELEBA 相同当然级数限制为 32*32。 唯一的定制是 WGAN-GP 的正则化项 Gulrajani (2017) 等人使用 γ 1.0对应于 1-Lipschitz但我们注意到实际上更喜欢快速过渡 (γ 750) 以最大限度地减少重影。 我们还没有在其他数据集上尝试过这个技巧。
7. 讨论
虽然与早期的 GAN 工作相比我们的结果质量普遍较高并且训练在大分辨率下也很稳定但距离真正的照片级真实感还有很长的路要走。 语义敏感性和理解数据集相关的约束例如某些对象是直的而不是弯曲的还有很多不足之处。 图像的微观结构也有改进的空间。 也就是说我们认为令人信服的现实主义现在可能已经触手可及尤其是在 CELEBA-HQ。
参考
Karras T, Aila T, Laine S, et al. Progressive Growing of GANs for Improved Quality, Stability, and Variation[C]//International Conference on Learning Representations. 2018.
附录
A. 网络结构和训练配置
A.1 用于 CELEBA-HQ 的 1024*1024 网络 表 2 显示了我们与 CELEBA-HQ 数据集一起使用的全分辨率生成器和鉴别器的网络架构。 这两个网络主要由复制的 3 层块组成我们在训练过程中将它们一一引入。 生成器的最后一个 Conv 1x1 层对应于图 2 中的 toRGB 块鉴别器的第一个 Conv 1x1 层同样对应于 fromRGB。 我们从 4×4 分辨率开始训练网络直到我们向鉴别器展示总共 800k 个真实图像。 然后我们在两个阶段之间交替在接下来的 800k 图像期间淡入第一个 3 层块稳定 800k 图像的网络在 800k 图像期间淡入下一个 3 层块等等。
我们的隐向量对应于 512 维超球面上的随机点并且我们在 [-1,1] 中表示训练和生成的图像。 我们在两个网络的所有层中都使用 leakiness 为 0.2 的 Leaky ReLU除了使用线性激活的最后一层。 我们不在这两个网络中采用批量归一化、层归一化或权重归一化但我们在生成器中的每个 Conv 3x3 层之后对特征向量执行像素归一化如第 4.2 节所述。 我们将所有偏差参数初始化为零并根据单位方差的正态分布将所有权重初始化。 然而我们在运行时使用特定于层的常量来缩放权重如第 4.1 节所述。 我们将跨小批量标准差作为附加特征图以 4x4 分辨率注入到判别器的末尾如第 3 节中所述。表 2 中的上采样和下采样操作分别对应于 2x2 元素复制和平均池化 。 S. 总结
S.1 主要思想
逐步增长生成器和鉴别器从低分辨率开始添加新的层随着训练的进行建模越来越精细的细节。 这既加快了训练速度又极大地稳定了训练能够生成前所未有的高分辨率图像。
使用小批量标准差增加变化。打破质量与变化的权衡。
使用网络归一化限制生成器和判别器的信号幅度从而避免模式崩溃。
S.2 方法
小批量标准差。简化的小批量鉴别首先计算小批量上每个空间位置中每个特征的标准差。 然后对所有特征和空间位置的这些估计进行平均以获得单个值。 复制该值并将其连接到所有空间位置和小批量上产生一个额外的恒定特征图。该层可以插入鉴别器中的任何位置但最好将其插入到末尾。
归一化。为了防止生成器和鉴别器中的幅度由于竞争而失控的情况在每个卷积层之后将每个像素中的特征向量归一化为生成器中的单位长度。
