基于双重对抗的生成式对抗网络的图像局部风格迁移方法技术

本发明专利技术揭示了一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，包括如下步骤：S1、采集两类图像；S2、对所采集的两类图像进行预处理；S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。本发明专利技术的技术方案基于双重对抗的自注意力生成式对抗网络，能够使得局部特征的图到图转换更加聚焦于局部特征，方法使用效果优异。

【技术实现步骤摘要】
基于双重对抗的生成式对抗网络的图像局部风格迁移方法
本专利技术涉及一种图像局部风格的迁移方法，尤其涉及一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，属于计算机视觉中的图像处理技术。
技术介绍
近年来，随着人工智能技术的高速发展，深度学习成为了时下热门的研究领域。蒙特利尔大学的IanGoodfellow等学者曾在2014年提出了生成式对抗网络的概念，这一概念的提出进一步加快了深度学习的研究进程。近年来，生成式对抗网络已经逐渐成为深度学习中的研究热点之一。生成式对抗网络是一种生成模型，它的结构受启发于二人零和博弈。生成式对抗网络包含了一个生成器和一个判别器。生成器能够通过真实数据的潜在分布进行学习，随后生成假的数据分布来拟合逼近真实数据。判别器是一个分类器，能够判断数据分布是否为真。通过两个网络的不断竞争学习，生成器能够生成越来越逼真的假的数据分布，最终达到以假乱真的效果。循环生成式对抗网络则是将生成式对抗网络与图到图转换的结合，循环生成式对抗网络本质上是两个镜像对称的生成式对抗网络，构成了一个环形网络。两个生成式对抗网络共享两个生成器和两个判别器，即共有两个判别器和两个生成器。循环生成式对抗网络适合处理图像风格迁移，但是应用于两类图像的局部特征迁移的过程中时，却很容易出现图像整体颜色的改变，即图像之前的转换不能较好的聚焦于操作者所期望的区域中、且图像也有可能会出现的条纹状噪声。综上所述，如何在现有技术的基础上提出一种图像局部风格迁移方法，以解决现有技术中所存在的诸多问题，也就成为了业内技术人员新的研究方向。
技术实现思路
鉴于现有技术存在上述缺陷，本专利技术提出了一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，包括如下步骤：S1、采集两类图像；S2、对所采集的两类图像进行预处理；S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。优选地，S1中所述两类图像包括真实第一类图像与真实第二类图像，所述真实第一类图像与真实第二类图像二者无需一一配对，所述真实第一类图像与真实第二类图像二者间的风格不同、且二者间具有相似性。优选地，S1所述采集两类图像，具体包括如下步骤：利用爬虫技术，从图片网站上爬取清晰的两类图像各两千张。优选地，S2中所述对所采集的两类图像进行预处理，具体包括如下步骤：对所述真实第一类图像与真实第二类图像进行筛选，去除两类图像中的模糊图像，将所有图像均设置为同一尺寸，随后将两类图像各自保存为训练样本。优选地，S3中所述双重对抗网络包括生成器、判别器及抑制器，所述生成器、判别器与所述生成器、抑制器同时进行对抗训练，所述生成器包括第一生成器及第二生成器，所述判别器包括第一判别器及第二判别器。优选地，在所述生成器和判别器的网络结构中均包括自注意力机制模块。优选地，S3中所述对双重对抗网络进行训练，具体包括如下步骤：S31、将所述真实第一类图像输入第一判别器中进行判别，同时将所述真实第一类图像输入第一生成器中、得到生成第二类图片，随后将生成第二类图片通过抑制器送入第二判别器中进行判别，同时将经过所述抑制器优化后的生成第二类图片通过第二生成器得到生成第一类图片；S32、将所述真实第二类图像输入第二判别器中进行判别，同时将所述真实第二类图像输入第二生成器中、得到生成第一类图片，随后将生成第一类图片通过抑制器送入第一判别器中进行判别，同时将经过所述抑制器优化后的生成第一类图片通过第一生成器得到生成第二类图片；S33、对所述第一生成器和第二生成器、所述第一判别器和第二判别器进行调整，以使得损失函数最小化。优选地，S3中所述损失函数的表达式为：L(G,F,DX,DY)＝LGAN(G,S,DY,X,Y)+LGAN(F,S,DX,Y,X)+λLcyc(G,S,F)+βLsup(G,S,F)，其中，上述各式中，G是第一生成器，F是第二生成器，S是抑制器，x是训练样本中的真实第一类图像，y是训练样本中的真实第二类图像，DX是第一判别器，DY是第二判别器，λ、β为可设定参数，LGAN是判别器损失，Lcyc是循环损失，Lsup是转换损失。与现有技术相比，本专利技术的优点主要体现在以下几个方面：本专利技术的技术方案基于双重对抗的自注意力生成式对抗网络，能够使得局部特征的图到图转换更加聚焦于局部特征，从而确保了方案的使用效果。经过本专利技术处理后，图片纹理更加清晰、网络的鲁棒性更好。此外，本专利技术也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他图像风格迁移的技术方案中，具有十分广阔的应用前景。以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握。附图说明图1是本专利技术一具体实施例的实现流程图；图2是本专利技术的基于双重对抗的自注意力生成式对抗网络的结构示意图；图3是本专利技术的基于双重对抗的自注意力生成式对抗网络中生成器的结构示意图；图4是本专利技术的基于双重对抗的自注意力生成式对抗网络中判别器的结构示意图；图5是本专利技术的基于双重对抗的自注意力生成式对抗网络中自注意力模块的结构示意图。具体实施方式如图1～图5所示，本专利技术揭示了一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，包括如下步骤：S1、采集两类图像。所述两类图像包括真实第一类图像与真实第二类图像，所述真实第一类图像与真实第二类图像二者无需一一配对，所述真实第一类图像与真实第二类图像二者间的风格不同、且二者间具有相似性。在本实施例中，所述两类图像为斑马图像与马图像。两类图像的采集过程具体包括从图片网站上下载两类图像，要求图像清晰。在本实施例中，我们利用爬虫技术，从图片网站上爬取清晰的两类图像各两千张。S2、对所采集的两类图像进行预处理。预处理具体包括：对所述真实第一类图像与真实第二类图像进行筛选，去除两类图像中的模糊图像，将所有图像均设置为同一尺寸，在本实施例中，统一裁剪为128*128尺寸，随后将两类图像各自保存为训练样本。S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练。所述双重对抗网络包括生成器、判别器及抑制器，所述生成器、判别器与所述生成器、抑制器同时进行对抗训练，所述生成器包括第一生成器及第二生成器，所述判别器包括第一判别器及第二判别器。在所述生成器和判别器的网络结构中均包括自注意力机制模块。具体而言，所述生成器的网络结构如图3所示。生成器由四个部分组成：编码器、转换器、解码器和自注意力模块。编码器中的ConvLayer为卷积层，目的通过卷积操作提取图像的特征信息。转换器中的ResnetBlock是残差网络，目的是为了将底层特征传递进入高层，并且抑制梯度消失的情况。解码器包含的DeConvLayer是反卷积层，解码过程与编码方式完全相反，从特征向量中还原出低级特征，这是利用反卷积层来完成的。自注意力模块包含数层组合卷积，目的是为了加权特征，增强重要的特征。生成器的输入是一类图像，输出是转换之后的另一类图像。所述判别器的网络结构如图4所示。相对于生成本文档来自技高网...

【技术保护点】
1.一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于，包括如下步骤：S1、采集两类图像；S2、对所采集的两类图像进行预处理；S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。

【技术特征摘要】
1.一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于，包括如下步骤：S1、采集两类图像；S2、对所采集的两类图像进行预处理；S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。2.根据权利要求1所述的基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于：S1中所述两类图像包括真实第一类图像与真实第二类图像，所述真实第一类图像与真实第二类图像二者无需一一配对，所述真实第一类图像与真实第二类图像二者间的风格不同、且二者间具有相似性。3.根据权利要求1所述的基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于，S1所述采集两类图像，具体包括如下步骤：利用爬虫技术，从图片网站上爬取清晰的两类图像各两千张。4.根据权利要求2所述的基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于，S2中所述对所采集的两类图像进行预处理，具体包括如下步骤：对所述真实第一类图像与真实第二类图像进行筛选，去除两类图像中的模糊图像，将所有图像均设置为同一尺寸，随后将两类图像各自保存为训练样本。5.根据权利要求4所述的基于双重对抗的生成式对抗网络的图像局部风格迁移方法，其特征在于，S3中所述双重对抗网络包括生成器、判别器及抑制器，所述生成器、判别器与所述生成器、抑制器同时进行对抗训练，所述生成器包括第一生成器及第二生成器，所述判别器包括第一判别器及第二判别器。6.根据权利要...

【专利技术属性】
技术研发人员：吴晨，李雷，杨真真，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32