【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于循环生成对抗网络的图像风格迁移方法。
技术介绍
1、生成对抗网络自提出以来，就成为了研究的一个热点。然而，其本身存在的参数震荡、模式崩溃、梯度消失等问题导致了其在实际中相当难以训练，需要极其小心的平衡生成器和判别器的模型能力。近几年，提出了诸如权重裁剪、梯度惩罚和谱归一化等一系列的方法来优化生成对抗网络的训练过程，缓解了其本身存在的一些问题。而风格迁移任务早期受限于相同内容不同风格的图片对难以大规模的获取，生成对抗网络的出现很好的解决了这个问题。
2、用于图像风格迁移的循环生成对抗网络是以两对生成对抗网络为基本模型，实现了两类风格的互相转化和判别。然而，由于原始的生成对抗网络的损失函数无法体现训练的进程，即其损失函数的大小不会体现训练的结果好坏，且训练过程中非常容易发生模式崩溃、梯度消失等问题，模型训练非常困难。此外，两个训练任务的平衡使得训练难度再度增大。这两者导致了其对生成器和判别器的结构非常敏感，因此在对待不同的任务甚至是不同的数据集时，调整网络结构需要非常小心翼翼，很多时候往往找不到适合的结构，这严重阻碍了循环生成对抗网络在图像风格迁移方面的应用。
技术实现思路
1、本专利技术的目的在于提供一种基于循环生成对抗网络的图像风格迁移方法，采用推土机距离标识训练进程，将判别器数目缩减为一个来回避两个任务训练进程的平衡问题，对网络结构进行一定修改，使其不再对数据集敏感。
2、为实现上述目的，本专利技术采用的一种基于循
3、步骤一：将风格a的图像集a和风格b的图像集b共同作为训练集，两种风格的图像集分别把对方的风格作为风格迁移任务的目标，并将自身图像集的风格作为原始数据；
4、步骤二：构建判别器d用于判别输入的图像的风格是否为进行风格迁移后的图像，构建一对生成器ga2b、生成器gb2a，所述生成器ga2b用于将a风格的图像转换成b风格的图像，所述生成器gb2a用于将b风格的图像转换成a风格的图像；
5、步骤三：将图像集a中的图像输入到所述生成器ga2b，图像集b中的图像输入到所述生成器gb2a，分别得到aa2b和bb2a，aa2b和bb2a用于计算推土机距离，将图像分成8*8个patches输入至所述生成器ga2b、所述生成器gb2a，分别得到paa2b和pbb2a，paa2b和pbb2a用于计算一致性损失；
6、步骤四：将aa2b中的图像输入到所述生成器gb2a，bb2a中的图像输入所述生成器ga2b，分别得到aa2a和bb2b，aa2a和bb2b用于计算循环一致性损失；
7、步骤五：使用aa2b和bb2a计算梯度惩罚及所述生成器ga2b、所述生成器gb2a的损失；
8、步骤六：在多优化目标下对模型参数进行调整，直到推土机距离收敛及生成的图像满足要求。
9、其中，在步骤二中：
10、所述判别器d输出为二维向量，第一个维度用于标识风格，第二个维度用于标识是否经过迁移，第一个维度和第二个维度取值均为(-∞，+∞)，第一个维度值越大代表所述判别器d倾向于图片属于风格a，越小则代表所述判别器d倾向于图片属于风格b，第二个维度值越大代表所述判别器d倾向于图片是未经过迁移的，越小代表所述判别器d倾向于图片经过迁移。
11、其中，在步骤二中：
12、所述判别器d由五个卷积块和全连接层组成，卷积块由经过谱归一化的卷积层和一个α设置为0.2的leaky relu激活函数组成，全连接层经过谱归一化操作。
13、其中，在步骤三中：
14、所述生成器ga2b和所述生成器gb2a分别包含编码器、残差块和解码器，编码器由卷积块组成，进行下采样，解码器由上采样块、若干残差块和单卷积层组成，每个上采样块由上采样层、卷积层、实例归一化层和relu激活函数组成，所述生成器ga2b和所述生成器gb2a的输出端使用tanh激活函数收束输出。
15、其中，在步骤三中：
16、将imga∈a和imgb∈b分别输入至所述生成器ga2b和所述生成器b2a中得到imga2b和imgb2a，接着计算推土机距离le-m以优化所述判别器d，le-m的计算公式为：
17、
18、其中d代表所述判别器d，γ代表权重系数，imga代表风格a中的图像，，imgb代表风格b中的图像，imga2b代表经过所述生成器ga2b的imga，imgb2a代表经过所述生成器gb2a的imgb，且有imga2b∈aa2b，imgb2a∈bb2a，整个损失函数约束所述判别器d把imga判别成a风格且未经过迁移，把imgb2a判别成b风格且经过迁移，把imgb判别成b风格且未经过迁移，把imga2b判别成a风格且经过迁移；
19、计算一致性损失lidentity的定义如下：
20、lidenrity(imga，imgb，pimga2b，pimgb2a)＝||imga pimga2b||p|||imgb pimgb2a||p；
21、其中||*||p代表*的p范数，pimga2b代表经过所述生成器ga2b的imga的patches按顺序组合成的图像，pimgb2a代表经过所述生成器gb2a的imgb的patches按顺序组合成的图像。
22、其中，在步骤四的步骤中：
23、将imga2b和imgb2a分别输入到所述生成器gb2a和所述生成器ga2b中，得到imga2a∈aa2a和imgb2b∈bb2b，接着计算循环一致性损失lcycle consistence，计算公式为：
24、lgyele consistence＝(imga2a，imgb2b，imga，imgb)＝||imga-imga2a||p+||imgb-imgb2b|||p。
25、其中，在步骤五的步骤中：
26、梯度惩罚lgradient penalty的公式为：
27、imgab＝(1-α)·imga+α·imgb2a；
28、imgba＝(1-β)·imgb+β·imga2b；
29、
30、其中，在步骤六的步骤中：
31、用于优化所述生成器ga2b和所述生成器gb2a的损失函数的计算方法如下：
32、
33、
34、对ld有以下定义：
35、ld＝le-m+μ·lgradient penalty；
36、其中μ为权重系数，对lg有以下定义：
37、
38、其中τ、ω为权重系数。
39、其中，在步骤六的步骤中：
40、对每个批量的数据，先通过最小化ld对d进行优化，重复m次，再最小化lg对所述生成器ga2b和所述生成器gb2a进行优化，不重复，每次优化过程都需要重新计算损失函数本文档来自技高网...
【技术保护点】
1.一种基于循环生成对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤二中：
3.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤二中：
4.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤三中：
5.如权利要求3所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤三中：
6.如权利要求4所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤四的步骤中：
7.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤五的步骤中：
8.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤六的步骤中：
9.如权利要求8所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤六的步骤中：
【技术特征摘要】
1.一种基于循环生成对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤二中：
3.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤二中：
4.如权利要求1所述的基于循环生成对抗网络的图像风格迁移方法，其特征在于，在步骤三中：
5.如权利要求3所述的基于循环生成对抗网络的图像风格迁移方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。