当前位置: 首页 > 专利查询>中山大学专利>正文

基于条件生成对抗网络的图像风格迁移方法技术

技术编号:22565715 阅读:73 留言:0更新日期:2019-11-16 12:17
本发明专利技术涉及一种基于条件生成对抗网络的图像风格迁移方法,包括以下步骤:S1.构造条件生成对抗网络的图像生成器G和判别器D;S2.收集不同风格的图像并对其进行预处理和数据增强,制定训练策略,对图像生成器G和判别器D进行训练;S3.利用训练好的图像生成器G和判别器D进行图像风格的迁移。

Image style transfer method based on conditional generation antagonism network

The invention relates to an image style migration method based on condition generation countermeasure network, which comprises the following steps: S1. Constructing image generator g and discriminator D of condition generation countermeasure network; S2. Collecting images of different styles, preprocessing and data enhancing them, formulating training strategies, and training image generator g and discriminator D; S3. Using the trained image generator g And discriminator d to transfer image style.

【技术实现步骤摘要】
基于条件生成对抗网络的图像风格迁移方法
本专利技术涉及数字图像处理
,更具体地,涉及一种基于条件生成对抗网络的图像风格迁移方法。
技术介绍
2014年lanGoodfellow提出了生成对抗网络(GAN),通过对抗训练的思想,有效地学习了训练样本并生成高度真实的合成数据,它为深度学习中的无监督学习和半监督学习提供了广阔的思路。随后生成对抗网络对抗训练的思想被广泛地应用于解决各种棘手的训练问题,并且取得了不错的效果。其中,MehdiMirza在2014年提出的条件生成对抗网络(ConditionGAN,CGAN),便是在GAN的基础上引入了标签信息,即用标签标记图像的某种特征再进行训练,这样在生成数据的过程中,加入的条件信息就能够指引条件生成对抗网络中的生成器生成所需要的某种特征的图像了。CGAN不仅能用在生成特定条件的数据,还应用到了图像转化和风格迁移当中。另外,在2018年提出来的CycleGAN实现了无监督的风格迁移,并取得了出色的效果。但是该模型针对多种风格的迁移任务仍存在许多问题,如只能实现两种风格之间的迁移、整个模型包含两个生成器G和两个判别器D,参数量大等问题
技术实现思路
本专利技术为解决现有技术只能实现两种风格之间的迁移的技术缺陷,提供了一种基于条件生成对抗网络的图像风格迁移方法。为实现以上专利技术目的,采用的技术方案是:一种基于条件生成对抗网络的图像风格迁移方法,包括以下步骤:S1.构造条件生成对抗网络的图像生成器G和判别器D;S2.收集不同风格的图像并对其进行预处理和数据增强,制定训练策略,对图像生成器G和判别器D进行训练;S3.利用训练好的图像生成器G和判别器D进行图像风格的迁移。优选地,所述步骤S1构造的图像生成器G采用编码器-解码器的结构,其中编码器由3个卷积层组成,采用3×3的卷积核,解码器是由3个反卷积层组成;判别器D由5个卷积层组成。优选地,所述步骤S2的预处理包括随机裁剪、缩放、旋转,以及按照图像的风格类型对图像使用one-hot的方法进行统一的标注。优选地,所述步骤S2对图像生成器G进行训练的具体过程如下:S21.训练过程中,每次随机选取两种风格类型,再从各自的风格类型中分别选取一张图像作为一次训练的数据;S22.对步骤S21选择的数据进行抽取,每次抽取的信息包括不同风格的图像xi、xj以及各自的风格相关向量yi、yj;S23.将抽取的信息向图像生成器G进行交叉输入,分别分为(xi,yj,yi)和(xj,yi,yj);S24.采用循环一致性损失,记x为原始输入图像,记原始输入图像在经过图像生成器G生成为指定风格的图像之后再次经过图像生成器G生成为原始风格的图像为,计算x与的欧式距离作为损失函数,并基于计算的损失函数,对图像生成器G的参数进行更新。优选地,所述图像生成器G的损失函数表示为:LG=λDLGAN,D+λcLcycle其中LGAN,D和Lcycle表示为:其中Pdata代表原始数据分布,E表示期望;xi表示第i种风格的图像,yi表示第i种风格的风格相关向量;LGAN,D表示优化生成器G过程中的主体损失函数;Lcycle表示循环一致性损失,为输入图像在经过生成器生成为指定风格的图像之后再次经过生成器生成为原始风格的图像与原图像之间的欧式距离;G表示生成器,D表示判别器。与现有技术相比,本专利技术的有益效果是:本专利技术提供一种基于条件生成对抗网络的图像风格迁移方法,通过收集和标注不同风格的图像训练得到一个由两个部分组成的用以多种风格迁移的条件生成对抗网络,这两个部分包括生成器(Generator,G),判别器(Discriminator,D)。其中,生成器G用以实现对图像的风格转换,通过输入原始图像和目标风格的one-hot向量,可以有效的将原始图像转化为目标风格的图像。判别器D通过将输入的图像进行特征提取,最终输出一个和风格相关向量长度一致的向量,从而判断输入图像的所属风格。在训练网络的过程中,还引入了一致性损失函数,有效地帮助了生成器的收敛。该专利技术通过对网络结构的设计,结合了多种损失函数,使得模型可以根据需求实现多种风格迁移,并且取得了良好的视觉效果。附图说明图1为条件生成对抗网络的结构示意图。具体实施方式附图仅用于示例性说明,不能理解为对本专利的限制;以下结合附图和实施例对本专利技术做进一步的阐述。实施例1本专利技术提供了一种基于条件生成对抗网络的图像风格迁移方法,其包括以下步骤:步骤S1:构造图像生成器G和判别器D,具体结构如图1所示,构建的具体过程如下:S11:构建生成器G。生成器G采用编码器-解码器的结构,编码器提取原始图像进行编码,并由卷积神经网络将风格相关向量将对应的风格特征信息和图像信息相融合,再经过解码器恢复到生成图像。S12:编码器由3个卷积层组成,采用3×3的卷积核,增加网络的非线性特征,减少网络的参数量,内存占用并加快训练的速度。S13:图像经过编码器编码后输入残差网络,残差网络有4层,能够提取图像的深度特征。S14:解码器是由3个反卷积层组成,能够将融合了条件信息的深度特征重新解码成新的图像,从而达到风格迁移的目的。S15:参照S12-S14网络中每一层的最后都要进行一次BatchNormalization(BN)操作,做归一化处理,解决数据偏移对网络训练造成影响,加快训练速度,BN操作后再经过一个ReLU层,然后再输入到下一层的网络当中。S16:构建判别器D。判别器D用于判断图像不仅要判断属于原始图像的概率分布,还要在判断属于原始图像概率分布的前提下,判断图像的风格是属于哪一类。S17:判别器D由5个卷积层组成,逐层地提取图像地深层特征,并最终输出一个和风格相关向量长度一致的向量。S18:图像经过判别器D输出的向量与图像对应的风格相关向量的距离作为判别器的损失函数。S19:收敛好的模型中,生成器G可以根据输入的风格相关向量对输入图像进行风格迁移,判别器D可以根据输入的图像对其进行风格的鉴别。步骤S2:收集不同风格的图像并对其进行预处理,制定训练策略,具体过程如下:S21:从网络上采集不同风格类型的图像作为训练图像。S22:对得到的图像按各自的风格进行分类,并对图像进行预处理和数据增强,包括随机裁剪、缩放、旋转等。S23:按风格类型对图像使用one-hot的方法进行统一的标注,不同的one-hot向量代表不同的风格类型。训练过程中,每次随机选取两种风格,再从各自的风格分类中分别选取一张图像作为一次训练的数据。每次抽取的信息包括不同风格的图像xi,xj以及各自的风格相关向量yi,yj。对抽取的数据进行交叉输入,分别分为(xi,yj,yi)和(xj,yi,yj)充分利用训练图像,提高训练效率。采用循环一致性损失,记x为原始输本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的图像风格迁移方法,其特征在于:包括以下步骤:/nS1.构造条件生成对抗网络的图像生成器G和判别器D;/nS2.收集不同风格的图像并对其进行预处理和数据增强,制定训练策略,对图像生成器G和判别器D进行训练;/nS3.利用训练好的图像生成器G和判别器D进行图像风格的迁移。/n

【技术特征摘要】
1.一种基于条件生成对抗网络的图像风格迁移方法,其特征在于:包括以下步骤:
S1.构造条件生成对抗网络的图像生成器G和判别器D;
S2.收集不同风格的图像并对其进行预处理和数据增强,制定训练策略,对图像生成器G和判别器D进行训练;
S3.利用训练好的图像生成器G和判别器D进行图像风格的迁移。


2.根据权利要求1所述的基于条件生成对抗网络的图像风格迁移方法,其特征在于:所述步骤S1构造的图像生成器G采用编码器-解码器的结构,其中编码器由3个卷积层组成,采用3×3的卷积核,解码器是由3个反卷积层组成;判别器D由5个卷积层组成。


3.根据权利要求1所述的基于条件生成对抗网络的图像风格迁移方法,其特征在于:所述步骤S2的预处理包括随机裁剪、缩放、旋转,以及按照图像的风格类型对图像使用one-hot的方法进行统一的标注。


4.根据权利要求1所述的基于条件生成对抗网络的图像风格迁移方法,其特征在于:所述步骤S2对图像生成器G进行训练的具体过程如下:
S21.训练过程中,每次随机选取两种风格类型,再从各自的风格类型中分别选取一张图像作为一次训练的数据;
S22.对步骤S2...

【专利技术属性】
技术研发人员:李惠川刘树郁
申请(专利权)人:中山大学
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1