一种基于生成式对抗网络的图像风格迁移方法技术

本发明专利技术公开了一种基于生成式对抗网络的图像风格迁移方法，把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，包括以下步骤：a)收集要风格转换的两类图片；b)图像预处理，如果图片像素过大，就分割成较小的部分；c)基于深度卷积网络构造生成式对抗网络；d)对生成式判别网络进行训练；e)生成风格迁移的图像；f)如果预处理把图片分割成较小的部分，还需要将它们拼接起来。本发明专利技术的图像风格迁移方法，能够非人工地生成图片的颜色特征，把绘图不完整的部分自动补全，可以省去人工设计的繁琐步骤。

【技术实现步骤摘要】
一种基于生成式对抗网络的图像风格迁移方法
本专利技术涉及一种基于生成式对抗网络的图像风格迁移方法，属于计算机视觉和模式识别

技术介绍
在设计某种产品的时候，需要设计师手动地绘制完整的图像，并且尝试填充不同的颜色，需要耗费极大的精力进行各种尝试，得到比较好的设计方案。但是如果运用深度学习，就可以只绘制出该物体，就能够自动的给物体设计填充的颜色，并且对于绘制不完整或者不合理的部分进行自动修复，可以在极大的提高设计方面的效率。因此，需要一种图像风格迁移方法，给颜色不完整或形状不完整图片上色或自动构造其残缺的形态部分，给设计工作者减轻构想、设计方面极大的工作量。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于生成式对抗网络的图像风格迁移方法，把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，减轻工作量。本专利技术为解决上述技术问题采用以下技术方案：一种基于生成式对抗网络的图像风格迁移方法，包括如下步骤：步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。作为本专利技术的一种优选方案，该图像风格迁移方法还包括步骤6，若迁移后的图像为分割后的图像，则需要将分割后的图像进行拼接，得到最终迁移后的图像。作为本专利技术的一种优选方案，所述步骤4的具体过程如下：采用两个生成式对抗网络产生的损失函数进行训练；(1)将预处理后的参考图像XA，经过生成式网络GAB变成另一种风格的图像XAB，通过对抗网络DB来衡量生成式网络GAB的效果，计算生成XAB的损失函数，公式如下：其中，PA为XA的分布，LGANB为生成XAB的损失函数，E表示期望；(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：(3)将预处理后的需要迁移的图像XB，通过生成式网络GBA变成另一种风格的图像XBA，通过对抗网络DA来衡量生成式网络GBA的效果，计算生成XBA的损失函数，公式如下：其中，PB为XB的分布，LGANA为生成XBA的损失函数；(4)让XBA通过生成式网络GAB，还原成与XB相似的图片XBAB，计算XB与XBAB的相似度LCONSTB，公式如下：(5)根据(1)-(4)计算生成式网络总的损失函数LG，公式如下：其中，为生成式网络GAB的损失函数，为生成式网络GBA的损失函数；(6)将预处理后的需要迁移的图像XB作为真样本输入对抗网络DB，生成的图像XAB作为假样本输入对抗网络DB，将预处理后的参考图像XA作为真样本输入对抗网络DA，生成的图像XBA作为假样本输入对抗网络DA，分别计算对抗网络DB、DA的损失函数从而得到对抗网络总的损失函数LD，公式如下：其中，为对抗网络DB的损失函数，为对抗网络DA的损失函数；(7)采用梯度下降法使损失函数LD最小化，与此同时采用梯度下降法使损失函数LG最小化，对生成式网络和对抗网络的损失函数同时进行优化，并对生成式网络和对抗网络的网络参数进行调整，反复迭代(1)-(7)，当对抗网络判定正确的概率等于0.5或者达到预设迭代次数时，训练完成。作为本专利技术的一种优选方案，所述对抗网络DB的损失函数公式如下：其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DB为对抗网络，GAB为生成式网络。作为本专利技术的一种优选方案，所述对抗网络DA的损失函数公式如下：其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DA为对抗网络，GBA为生成式网络。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1、本专利技术一种基于生成式对抗网络的图像风格迁移方法，能够很好的给图片着色，修复轻微残缺的部分。相比传统方法，人为的学习当时的风俗环境，设计其全貌，减轻了繁琐的工作量，能够自动化的完成这些工作，并且更为精准。2、本专利技术一种基于生成式对抗网络的图像风格迁移方法，能够非人工地生成图片的颜色特征，把绘图不完整的部分自动补全。可以省去人工设计的繁琐步骤。附图说明图1是本专利技术一种基于生成式对抗网络的图像风格迁移方法的流程图。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图1所示，为基于生成式对抗网络的图像风格迁移方法的流程图，该方法是把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，具体步骤如下：第一步，收集要风格转换的两类图像；第二步，预处理两类图像，对两类图像进行归一化或者分割处理，当图像像素接近256*256像素时，直接进行归一化处理为256*256像素；当图像像素过大时，把较大像素的图片分割或者提取重要的部分，将其处理若干个为256*256像素的图片，当风格迁移完成后再组合成整张图片；第三步，基于深度卷积网络构造生成式对抗网络，能够生成迁移风格的图片，如果图片比较精细复杂，不完整，用该生成式对抗网络能够减小实验的复杂性，产生更逼真的图片，具体步骤如下：构造生成式网络和对抗网络：(1)生成式网络中设置卷积神经网络模型的网络层为4层，每一层的卷积核为4*4，使用lrelu激活函数，步长为2；(2)生成式网络中设置反卷积网络为4层，反卷积核为4*4，步长为2，前三层使用lrelu激活函数，第四层不使用激活函数，反卷积的输出即为生成器的输出，它是256*256像素的一张图片；(3)对抗网络中设置对抗层网络模型的网络层为5层，卷积核是4*4，前4层使用lrelu激活函数，步长为2，第五层不使用激活函数，步长为4，它的输出即为对抗网络的输出，是256*256的一张图片。第四步，以往的图像迁移研究方向经常为配对式的研究方向，物体转换跨度不大，比如不能把单色图像变成不同风格的彩色图像，本专利技术采用了如下步骤实现了跨度较大的风格迁移，但是这个跨度又在可控的范围之内。对该生成式对抗网络进行训练，原理为：(1)将原始图片输入到生成式网络中，得到第一类不同风格的图片，把得到的这张图片继续放入相同的生成式网络中，得到第二类生成的图片；(2)为了经过一个序列的两本文档来自技高网...

【技术保护点】
一种基于生成式对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。...

【技术特征摘要】
1.一种基于生成式对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。2.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，该图像风格迁移方法还包括步骤6，若迁移后的图像为分割后的图像，则需要将分割后的图像进行拼接，得到最终迁移后的图像。3.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，所述步骤4的具体过程如下：采用两个生成式对抗网络产生的损失函数进行训练；(1)将预处理后的参考图像XA，经过生成式网络GAB变成另一种风格的图像XAB，通过对抗网络DB来衡量生成式网络GAB的效果，计算生成XAB的损失函数，公式如下：其中，PA为XA的分布，为生成XAB的损失函数，E表示期望；(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：(3)将预处理后的需要迁移的图像XB，通过生成式网络GBA变成另一种风格的图像XBA，通过对抗网络DA来衡量生成式网络GBA的效果，计算生成XBA的损失函数，公式如下：

【专利技术属性】
技术研发人员：孙靖文，王敏，杨柳，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32