一种基于CycleGAN的图片训练的网络结构ArcGAN及方法技术

本发明专利技术公开一种基于CycleGAN的图片训练的网络结构ArcGAN及方法，网络结构ArcGAN由生成器和双鉴别器组成，双鉴别器包括粗糙鉴别器和精细鉴别器；编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个带有瓶颈层的密集卷积层，块与块之间设有压缩层；解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接两个和输入层结构一样的平卷积层；编码器中的每层下采样和与之对应的解码器中的上采样进行复制式连接。粗糙鉴别器用于处理高层视觉信息，由六层下采样层和一个输出层构成；精细鉴别器和粗糙鉴别器计算的损失相结合，与生成器共同完成对抗一致性训练。

A Network Architecture ArcGAN Based on CycleGAN for Picture Training and Its Method

【技术实现步骤摘要】
一种基于CycleGAN的图片训练的网络结构ArcGAN及方法
本专利技术主要涉及深度学习和图像处理领域，尤其涉及一种基于CycleGAN的图片训练的网络结构ArcGAN及线条建筑自动上色的方法。
技术介绍
自20世纪90年代中期以来，有大量的研究探索如何自动将图像转化为带有特殊风格的合成艺术品。Gatys等人的开创性工作展示了卷积神经网络(CNN)通过分离和重组图像内容和风格来创造艺术意象的力量[2]。使用CNN呈现不同风格的内容图像的过程称为神经风格迁移(NST)。从那时起，NST成为学术界和工业界的热门话题，它正受到越来越多的关注，并提出了各种改进或扩展原始NST算法的方法。深度神经网络是最近使用最多、效果最好、效率最高的方法。最近对生成对抗网络(GAN)[3,4]的研究在广泛的图像合成应用中取得了巨大的成功，包括盲运动去模糊[5,6]，高分辨率图像合成[7,8]，光现实超分辨率[9]和图像绘制[10]。GAN的训练策略是定义两个竞争网络之间的博弈。生成器试图愚弄一个同时经过训练的鉴别器，该鉴别器将图像分类为真实的或合成的图像。GAN以其具有良好的感知质量的样品而闻名，然而，如[11]所述，GAN的普通版本存在许多问题，如模式崩溃、消失梯度等。Arjovsky等人[12]讨论了由vanilla损失函数引起的GAN训练的困难，并提出了用Earth-Mover(Wasserstein-1)距离近似作为评判的方法。Gulrajani等人[13]通过梯度惩罚进一步提高了它的稳定性，从而能够训练更多的结构，几乎不需要进行超参数调整。基本的GAN框架也可以使用边信息进行扩充。一种策略是向生成器和鉴别器提供类标签，以生成类条件样本，即CGAN[14]。这种边信息可以显著提高生成样本的质量[15]。但这种深度网络框架并不具有普遍性。参考文献：[1]SUN,Q.,LIN,J.,FU,C.-W.,KAIJIMA,S.,ANDHE,Y.2013.Amulti-touchinterfaceforfastarchitecturalsketchingandmassing.InProceedingsoftheSIGCHIConferenceonHumanFactorsinComputingSystems,ACM,247–256.[2]L.A.Gatys,A.S.Ecker,andM.Bethge,“Aneuralalgorithmofartisticstyle,”ArXive-prints,Aug.2015.[3]IanGoodfellow,JeanPouget-Abadie,MehdiMirza,BingXu,DavidWarde-Farley,SherjilOzair,AaronCourville,andYoshuaBengio.2014.Generativeadversarialnets.InAdvancesinneuralinformationprocessingsystems.2672–2680.[4]AlecRadford,LukeMetz,andSoumithChintala.2015.Unsupervisedrepresentationlearningwithdeepconvolutionalgenerativeadversarialnetworks.arXivpreprintarXiv:1511.06434(2015).[5]OrestKupyn,VolodymyrBudzan,MykolaMykhailych,DmytroMishkin,andJiriMatas.2017.DeblurGAN:BlindMotionDeblurringUsingConditionalAdversarialNetworks.arXivpreprintarXiv:1711.07064(2017).[6]SeungjunNah,TaeHyunKim,andKyoungMuLee.2017.Deepmulti-scaleconvolutionalneuralnetworkfordynamicscenedeblurring.InProceedingsoftheIEEEConferenceonComputerVisionandPaernRecognition(CVPR),Vol.2.[7]TeroKarras,TimoAila,SamuliLaine,andJaakkoLehtinen.2017.Progressivegrowingofgansforimprovedquality,stability,andvariation.arXivpreprintarXiv:1710.10196(2017).[8]Ting-ChunWang,Ming-YuLiu,Jun-YanZhu,AndrewTao,JanKautz,andBryanCatanzaro.2017.High-ResolutionImageSynthesisandSemanticManipulationwithConditionalGANs.arXivpreprintarXiv:1711.11585(2017).[9]ChristianLedig,LucasLeis,FerencHuszar,JoseCaballero,AndrewCunning-′ham,AlejandroAcosta,AndrewAitken,AlykhanTejani,JohannesTotz,ZehanWang,etal.2016.Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork.arXivpreprint(2016).[10]DeepakPathak,PhilippKrahenbuhl,JeoDonahue,TrevorDarrell,andAlexeiAEfros.2016.Contextencoders:Featurelearningbyinpainting.InProceedingsoftheIEEEConferenceonComputerVisionandPaernRecognition.2536–2544[11]TimSalimans,IanGoodfellow,WojciechZaremba,VickiCheung,AlecRadford,andXiChen.2016.Improvedtechniquesfortraininggans.InAdvancesinNeuralInformationProcessingSystems.2234–2242.[12]MartinArjovsky,SoumithChintala,andLeonBoou.2017.Wassersteingan.′arXivpreprintarXiv:1701.07875(2017).[13]IshaanGulrajani,FarukAhmed,MartinArjovsky,VincentDumoulin,andAaronCCourville.2017.Improvedtrainingofwasserstei本文档来自技高网...

【技术保护点】
1.一种基于CycleGAN的图片训练的网络结构ArcGAN，CycleGAN网络架构由两个卷积神经网络(CNN)组成，一个是生成器，用以被训练以产生欺骗鉴别器的输出；另一个是鉴别器，用于对图像来自真实目标还是合成图像进行分类；生成器包括编码器、转换器和解码器，编码器是一个输入层和两个下采样卷积层，转换器是九块残差卷积层，解码器是两个上采样反卷积层以及一个输出层；其特征在于，所述网络结构ArcGAN由生成器和双鉴别器组成，所述双鉴别器包括粗糙鉴别器和精细鉴别器；所述网络结构ArcGAN的生成器中的编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个带有瓶颈层的密集卷积层，块与块之间设有压缩层；解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接两个和输入层结构一样的平卷积层；编码器中的每层下采样和与之对应的解码器中的上采样进行复制式连接。所述粗糙鉴别器用于处理高层视觉信息，由六层下采样层和一个输出层构成；精细鉴别器由四层下采样和一个最终层构成；精细鉴别器和粗糙鉴别器计算的损失相结合，与生成器共同完成对抗一致性训练。...

【技术特征摘要】
1.一种基于CycleGAN的图片训练的网络结构ArcGAN，CycleGAN网络架构由两个卷积神经网络(CNN)组成，一个是生成器，用以被训练以产生欺骗鉴别器的输出；另一个是鉴别器，用于对图像来自真实目标还是合成图像进行分类；生成器包括编码器、转换器和解码器，编码器是一个输入层和两个下采样卷积层，转换器是九块残差卷积层，解码器是两个上采样反卷积层以及一个输出层；其特征在于，所述网络结构ArcGAN由生成器和双鉴别器组成，所述双鉴别器包括粗糙鉴别器和精细鉴别器；所述网络结构ArcGAN的生成器中的编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个...

【专利技术属性】
技术研发人员：蒋涵，陶文源，孙倩，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12