一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法技术

本发明专利技术属于图像处理、计算机视觉、深度学习领域，具体为一种基于循环一致性的生成对抗式网络的照片与工笔画之间的图像风格转移方法。该方法包括：基于卷积神经网络和Resnet的生成器、判别器，基于循环一致性和生成对抗式网络的损失函数训练，实现了照片图像到工笔图像的风格映射。本发明专利技术能够有效地解决照片与工笔画之间的图像风格转移任务，另外，该方法不仅不需要一一对应的配对数据集，而且可以同时学习照片图片到工笔画图片的映射和工笔画图片到照片图片的映射。

A Method of Image Style Transfer between Photos and Fine Brushwork Based on Cyclic Consistency for Generating Confrontation Networks

The invention belongs to the fields of image processing, computer vision and in-depth learning, and is specifically an image style transfer method between photo and meticulous brush based on circular consistency to generate antagonistic network. The method includes: generator and discriminator based on convolutional neural network and Resnet, loss function training based on cyclic consistency and generating antagonistic network, and style mapping from photo image to Fine-Brush image is realized. The invention can effectively solve the task of image style transfer between photos and meticulous strokes. In addition, the method not only does not need one-to-one matching data set, but also can simultaneously learn the mapping from photo pictures to meticulous strokes and from meticulous strokes to photo pictures.

【技术实现步骤摘要】
一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
本专利技术属于图像处理，计算机视觉，深度学习领域，具体为一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法。
技术介绍
近年来，随着深度学习的进步，图像风格转移技术也有了重要的发展。2016年，LeonA.Gatys发表了论文“ImageStyleTransferUsingConvolutionalNeuralNetworks”，利用深度学习算法来进行图像风格转移，其背后的原理是利用卷积神经网络对不同尺度下的内容特征和风格特征进行分离，从而使图像风格转移变得简单可行。2017年，Jun-YanZhu发表了论文“UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks”，利用循环一致性和生成对抗式网络进行图像到图像的映射学习，该方法不仅不需要一一对应的配对数据集，而且可以同时学习内容图片到风格图片的映射和风格图片到内容图片的映射。该方法被运用于实现照片与油画之间的图像风格转换并取得良好效果。当前亟待解决的问题是这种方法是否具有普适性并能完成照片与工笔画之间的风格转移。
技术实现思路
针对上述存在问题，本专利技术将CycleGAN中的循环一致性应用到照片与工笔画数据集的分析当中，对照片图片和工笔画图片数据集进行训练并找到之间的映射路径，能够有效地解决照片与工笔画之间的图像风格转移任务。本专利技术采用的技术方案是：(1)基于Resnet的生成器。(2)基于卷积神经网络的鉴别器。(3)基于循环一致性和生成对抗式网络的损失函数训练。(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。所述步骤(1)中的生成器网络具体包括：(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层。(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块。(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层。(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。所述步骤(2)中的鉴别器网络具体包括：(21)鉴别器的输入特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，reuse激活层。(22)将(21)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，reuse激活层。(23)将(22)的输出特征依次通过卷积核大小为8、步长为8、滤波器数量为256的卷积层，InstanceNorm层，reuse激活层。(24)将(23)的输出特征依次通过卷积核大小为16、步长为16、滤波器数量为512的卷积层，InstanceNorm层，reuse激活层。(25)将(24)的输出特征展平，通过sigmoid函数将网络输出归一化。所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括：(31)输入图像包括两个集合其中X为照片图像集合，Y为工笔画图像集合。网络包括两个生成器G:X→Y，F:Y→X和两个判别器DX，DY。(32)使用随机梯度下降法进行训练，采用对抗损失和循环一致性损失构成的复合损失函数，计算公式如下：所述步骤(4)中的照片与工笔画之间的风格转移具体包括：(41)由照片图像生成工笔画图像：X→Y，即套用训练得出的照片风格转移成为工笔画的映射关系，生成对应的工笔画风格图像。(42)由工笔画图像生成照片图像：Y→X，套用训练得出的工笔画风格转移成为照片的映射关系，生成对应的照片风格图像。本专利技术的有益效果是：本专利技术将CycleGAN中的循环一致性应用到工笔画与照片之间的风格转换，通过循环一致性训练得出两者之间的对应映射，能够有效地解决照片与工笔画之间的风格转移任务。另外，该方法不仅不需要一一对应的配对数据集，而且可以同时学习照片图片到工笔画图片的映射和照片图片到工笔画图片的映射并分别实现对应的转换要求。附图说明图1是循环一致性的生成对抗式网络的结构图图2是实施例的照片图像图3是实施例的工笔画风格转移图像图4是实施例的工笔画图像图5是实施例的照片风格转移图像具体实施方式以下将结合附图对本专利技术进行详细描述。本专利技术公开了一种基于循环一致性的生成对抗式网络的照片与工笔画之间的图像风格转移方法，具体实施步骤包括：(1)基于Resnet的生成器。(2)基于卷积神经网络的鉴别器。(3)基于循环一致性和生成对抗式网络的损失函数训练。(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。所述步骤(1)中的生成器网络具体包括：编码器，转换器和解码器(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层。(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块。(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层。(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。所述步骤(2)中的鉴别器网络具体包括：(21)鉴别器的输入特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，reuse激活层。(22)将(21)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，reuse激活层。(23)将(22)的输出特征依次通过卷积核大小为8、步长为8、滤波器数量为256的卷积层，InstanceNorm层，reuse激活层。(24)将(23)的输出特征依次通过卷积核大小为16、步长为16、滤波器数量为512的卷积层，InstanceNorm层，reuse激活层。(25)将(24)的输出特征展平，通过sigmoid本文档来自技高网...

【技术保护点】
1.一种基于循环一致性的生成对抗式网络实现工笔画与照片之间风格转移的方法，其特征在于，所述方法包括：(1)基于Resnet的生成器；(2)基于卷积神经网络的鉴别器；(3)基于循环一致性和生成对抗式网络的损失函数训练；(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。

【技术特征摘要】
1.一种基于循环一致性的生成对抗式网络实现工笔画与照片之间风格转移的方法，其特征在于，所述方法包括：(1)基于Resnet的生成器；(2)基于卷积神经网络的鉴别器；(3)基于循环一致性和生成对抗式网络的损失函数训练；(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中具体包括：((11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层；(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层；(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层；(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块；(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层；(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层；(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。3.根...

【专利技术属性】
技术研发人员：漆进，丁朱正奇，史鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51