网站做图标链接,企业做定制网站的好处,营业执照年检网上申报入口,学动漫制作专业后悔吗一、说明 循环生成对抗网络#xff08;CycleGAN#xff09;是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。
二、基本介绍 CycleGAN 是图像到图像的翻译模型#xff0c;就像Pix2Pix一样。Pix2Pix模型面临…一、说明 循环生成对抗网络CycleGAN是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。
二、基本介绍 CycleGAN 是图像到图像的翻译模型就像Pix2Pix一样。Pix2Pix模型面临的主要挑战是训练所需的数据应该配对即源域和目标域的图像应该位于相同的位置并且两个域的图像数量也应该相同。 循环生成对抗网络CycleGAN是一种训练深度卷积神经网络以执行图像到图像翻译任务的方法。网络使用不成对的数据集学习输入和输出图像之间的映射。例如从 SAR 生成 RGB 图像、从 RGB 生成多光谱图像、从卫星图像生成地图路线等。 该模型是 Pix2Pix 架构的扩展涉及两个生成器模型和两个判别器模型的同时训练。除了 Pix2Pix 的功能之外我们还可以使用不配对的数据集并且还可以使用相同的模型反向转换图像目标到源图像。
三、模型架构 图 1. CycleGAN 架构概述从卫星图像转换到地图路线域 [3] 要了解 GAN 的基础知识可以参考Pix2Pix 指南。 该模型架构由两个生成器模型组成一个生成器Generator-A用于生成第一个域Domain-A的图像第二个生成器Generator-B用于生成第二个域Domain-B的图像。
域-B -生成器-A - 域-A域-A -生成器-B - 域-B 每个生成器都有一个相应的判别器模型判别器-A 和判别器-B。鉴别器模型从域中获取真实图像并从生成器中获取生成的图像来预测它们是真还是假。
域-A -鉴别器-A - [真/假]域-B - 生成器-A -判别器-A - [真/假]
域-B -鉴别器-B - [真/假]域-A - 生成器-B -判别器-B - [真/假]
在 中arcgis.learn所有判别器和生成器都被分组为一个模型。
四、训练时loss是如何计算的 用于训练生成器的损失由三部分组成 对抗性损失我们将对抗性损失应用于两个生成器其中生成器尝试生成其域的图像而其相应的判别器区分翻译样本和真实样本。生成器的目标是最小化这种损失而相应的判别器则试图最大化这种损失。 循环一致性损失它捕捉到了这样的直觉如果我们将图像从一个域转换到另一个域并再次转换回来我们应该到达我们开始的地方。因此它计算原始图像和最终生成图像之间的 L1 损失该图像应该看起来与原始图像相同。从两个方向进行计算
正向循环一致性域-B -生成器-A - 域-A -生成器-B - 域-B后向循环一致性Domain-A - Generator-B - Domain-B - Generator-A - Domain-A 身份丢失它鼓励生成器保留输入和输出之间的颜色成分。这是通过向生成器提供目标域的图像作为输入并计算输入和生成图像之间的 L1 损失来完成的。
* Domain-A - **Generator-A** - Domain-A
* Domain-B - **Generator-B** - Domain-B由于所有这些损失函数在获得高质量结果方面都发挥着关键作用。因此这两个生成器模型都是通过所有这些损失函数的组合来优化的。
五、实施于arcgis.learn 首先我们必须使用arcgis pro中的格式导出图像芯片然后使用中的函数Export Tiles创建一个databunchprepare_dataarcgis.learn
data arcgis.learn.prepare_data(pathrpath/to/exported/data, dataset_typeCycleGAN)要传递的重要参数是
到path数据目录。我们需要遵循图2所示的目录结构。这里“train_a”和“train_b”文件夹包含域A和B的图像。 图 2. 目录结构
为dataset_type“CycleGAN”。 创建数据束后我们可以通过调用初始化 CycleGAN 对象
cyclegan_model arcgis.learn.CycleGAN(data)与其他一些模型不同我们从头开始训练 CycleGAN某些初始时期的学习率为 0.0002然后在下一个时期将学习率线性衰减到零。 然后我们可以继续基本的 arcgis.learn 工作流程。有关 API 和模型的更多信息请访问API 参考。
参考
[1] Jun-Yan ZhuTaesung ParkPhillip IsolaAlexei A. Efros“使用循环一致对抗网络的不配对图像到图像翻译”2017arXiv1703.10593。
[2] Jason BrownleeCyclegan 教程。访问日期2020 年 9 月 29 日。
[3]。康宇豪、高松和罗伯特·E·罗斯。“使用生成对抗网络传输多尺度地图样式。” 国际制图杂志 5no。2-32019115-141。
