一种基于生成对抗网络的多域图像风格迁移方法技术

本发明专利技术提供一种基于生成对抗网络的多域图像风格迁移方法，属于计算机视觉领域，用来实现图像到多种不同艺术风格的转换。本发明专利技术设计了一个专家风格网络，通过一组双向重构损失，来抽取不同目标域的输入图像中包含各自域独特信息的风格特征编码。同时设计了一个迁移网络，结合自适应实例标准化，将抽取到的风格特征编码与内容编码器提取到的跨域共享的语义内容重新组合，生成新的图像，从而实现图像从源域到多个目标域的风格迁移。实验表明模型能够有效地将任意照片的内容与众多艺术品的风格相结合，产生新的图像。

A Multi-Domain Image Style Migration Method Based on Generating Countermeasure Network

【技术实现步骤摘要】
一种基于生成对抗网络的多域图像风格迁移方法
本专利技术属于计算机视觉领域，涉及一种基于生成对抗网络的多域图像风格迁移方法。
技术介绍
近年来，由深度学习引领的人工智能技术，开始广泛地应用于各个领域。其中，深度学习与艺术的碰撞，引起了研究者们的高度关注。以相关技术为基础的各种图像处理软件和应用也吸引了海量的用户。其中最核心的就是基于深度学习的图像风格迁移。深度学习可以捕获一个图像的内容并将其与另一个图像的风格相结合，这种技术就称为风格迁移。风格迁移问题源于非照片般逼真的渲染(KyprianidisJE,CollomosseJ,WangT,etal.Stateoftheart:Ataxonomyofartisticstylizationtechniquesforimagesandvideo.TVCG,2013.)，并且与纹理合成和转移密切相关(EfrosAA，FreemanWT.Imagequiltingfortexturesynthesisandtransfer.InSIGGRAPH,2001.)。一些早期方法包括线性滤波器响应的直方图匹配和非参数采样。这些方法通常依赖于低级统计信息，并且通常无法捕获语义结构。Gatys等人首次通过匹配DNN的卷积层中的特征统计来展示令人印象深刻的样式迁移结果(GatysLA,EckerAS,BethgeM.Imagestyletransferusingconvolutionalneuralnetworks.InCVPR,2016.)。Li和Wand在深度特征空间中引入了基于马尔可夫随机场(MRF)的框架来强制执行局部模式(LiC，WandM.Combiningmarkovrandomfieldsandconvolutionalneuralnetworksforimagesynthesis.InCVPR,2016.)。Ruder等人通过施加时间约束来改善视频风格迁移的质量(RuderM,DosovitskiyA,BroxT.Artisticstyletransferforvideos.InGCPR,2016)。Gatys等人的框架基于缓慢优化过程，该过程迭代地更新图像来最小化由损失网络计算的内容损失和风格损失。即使使用现代GPU，也可能需要几分钟才能收敛。因此，移动应用中的设备上处理太慢而不实用。常见的解决方法是使用前馈神经网络来替换优化过程，该网络是训练来最小化相同目标损失的(JohnsonJ,AlahiA,Fei-FeiL.Perceptuallossesforreal-timestyletransferandsuper-resolution.InECCV,2016.)。这些前馈式传输方法比基于优化的替代方案快三个数量级，为实时应用打开了大门。Ulyanov等人提出了改善生成样本的质量和多样性的方法(UlyanovD,VedaldiA,LempitskyV.Improvedtexturenetworks:Maximizingqualityanddiversityinfeed-forwardstylizationandtexturesynthesis.InCVPR,2017.)。然而，上述前馈方法在每个网络都与固定风格相关联的意义上受到限制。为了解决这个问题，Dumoulin等人引入了一个能够编码32种风格及其插值的网络(DumoulinV,ShlensJ,KudlurM.Alearnedrepresentationforartisticstyle.InICLR,2017)。但是，上述方法无法适应训练期间未观察到的任意风格。最近，Chen和Schmidt引入了一种前馈方法，可以通过风格交换层传输任意风格(ChenTQ，SchmidtM.Fastpatch-basedstyletransferofarbitrarystyle.arXivpreprintarXiv:1612.04337,2016.)。在给定内容和风格图像的特征激活的情况下，风格交换层以逐个补丁的方式用最接近匹配的风格特征替换内容特征。然而，他们的风格交换层创造了一个新的计算瓶颈：对于512*512的图片来说，超过95％的计算花费在风格交换上。风格迁移的另一个核心问题是使用何种风格损失函数。Gatys等人的原始框架通过匹配由Gram矩阵捕获的特征激活之间的二阶统计来匹配风格。其他提出的有效的损失函数，例如MRF损失，对抗性损失，直方图损失以及通道均值和方差之间的距离。注意，所有上述损失函数旨在匹配风格图像和合成图像之间的一些特征统计。近几年，生成对抗网络(GenerativeAdversarialNetworks,GANs)被逐渐应用到图像风格迁移问题上，并且已在风格迁移问题上取得了显著的成绩。如CycleGAN利用两组生成器和判别器，通过循环一致性损失，有效地学习了源域和目标域之间的映射和逆映射,并在风格迁移问题上取得了不错的成绩(ZhuJY,ParkT,IsolaP,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks.InICCV.2017,2242-2251.)。但是，CycleGAN存在一个重要的问题，就是输出缺乏多样性，只能模拟确定的分布。而在处理多域风格迁移问题时，需要为每对图像域单独地构建和训练模型。因此，针对这一问题，最近的一些研究提出了几个新的方法和模型。Anoosheh等人则在CycleGAN的基础上提出了ComboGAN，一种多分量图像转换模型和训练方案，它的资源消耗以及训练所需的时间与域的数量呈线形比例(AnooshehA,AgustssonE,TimofteR,etal.Combogan:Unrestrainedscalabilityforimagedomaintranslation.InCVPR.2018,783-790.)。针对上述问题，本专利技术提出了一种基于GAN的多域图像风格迁移方法，用于实现图像从源域到多个目标域的风格迁移。该网络设计了一个专家风格网络，通过一组双向重构损失，来抽取输入的不同目标域的图像中包含各自域独特信息的风格特征编码。同时通过一个迁移网络，结合自适应实例标准化(AdaptiveInstanceNormalization，AdaIN)，将抽取到的风格特征编码与源域图像的语义信息重新组合，生成新的图像，从而实现图像从源域到多个目标域的风格迁移。实验表明模型能够有效地将任意照片的内容与众多艺术品的风格相结合，产生新的图像。
技术实现思路
在风格迁移任务中，关键的两点是如何有效地学习到图像的风格信息，以及如何有效地将风格信息融合到图像的语义信息中。针对这两个问题，本专利技术提出一种基于GAN的多域图像风格迁移方法，用于实现图像从源域到多个目标域的风格迁移。该方法充分发挥了GAN的优势，借助一组双向重构损失和自适应实例标准化，成功地将照片的内容与众多艺术品的风格相结合，产生新的图像。本专利技术的技术方案：一种基于生成对抗网络的多域图像风格迁移方法，包括如下步骤：步骤一图像的预处理：通过Python的图像处理模块，对真实图像xi,i＝1,2,...,n进行统一的处本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的多域图像风格迁移方法，其特征在于，包括如下步骤：步骤一图像的预处理通过Python的图像处理模块，对真实图像xi,i＝1,2,...,n进行统一的处理，并把它们缩放为统一的像素大小；其中，将真实图像x1称为真实的源域图像，将真实图像xi,i＝2,...,n称为真实的目标域图像；步骤二提取语义内容将真实的源域图像x1输入到内容编码器Ec中；Ec通过解码真实的源域图像x1，抽取出在迁移过程中共享的语义内容，即内容特征c1＝Ec(x1)；步骤三提取风格特征将真实图像xi,i＝1,2,...,n分别输入到风格编码器Es中；Es通过解码图像，抽取出包含各个域独特信息的风格特征si＝Es(xi),i＝1,2,..,n；步骤四生成图像将抽取出的内容特征c1和抽取出的风格特征si输入到迁移网络T中，迁移网络将内容特征与风格特征重新组合，生成新的图像，该图像具有真实的源域图像x1的内容特征和真实图像xi,i＝1,2,...,n的风格特征；从高斯分布中随机采样风格特征sri，将内容特征c1和随机采样来的风格特征sri输入到迁移网络T中，生成新的图像；步骤五判别图像将步骤四中生成的两种新的图像均输入判别器D进行判别，判别器将区分输入图像是真实图像，还是风格迁移后的图像；步骤六计算损失函数使用一组双向重构损失，即自重构损失...

【技术特征摘要】
1.一种基于生成对抗网络的多域图像风格迁移方法，其特征在于，包括如下步骤：步骤一图像的预处理通过Python的图像处理模块，对真实图像xi,i＝1,2,...,n进行统一的处理，并把它们缩放为统一的像素大小；其中，将真实图像x1称为真实的源域图像，将真实图像xi,i＝2,...,n称为真实的目标域图像；步骤二提取语义内容将真实的源域图像x1输入到内容编码器Ec中；Ec通过解码真实的源域图像x1，抽取出在迁移过程中共享的语义内容，即内容特征c1＝Ec(x1)；步骤三提取风格特征将真实图像xi,i＝1,2,...,n分别输入到风格编码器Es中；Es通过解码图像，抽取出包含各个域独特信息的风格特征si＝Es(xi),i＝1,2,..,n；步骤四生成图像将抽取出的内容特征c1和抽取出的风格特征si输入到迁移网络T中，迁移网络将内容特征与风格特征重新组合，生成新的图像，该图像具有真实的源域图像x1的内容特征和真实图像xi,i＝1,2,...,n的风格特征；从高斯分布中随机采样风格特征sri，将内容特征c...

【专利技术属性】
技术研发人员：葛宏伟，姚瑶，孙克乙，张强，孙亮，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21