【技术实现步骤摘要】
本专利技术涉及一种生成对抗网络的训练方法、双向图像风格转换方法和装置，属于图像处理。
技术介绍
1、深度学习是人工智能领域中的一个重要分支，它通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习技术已经广泛应用于计算机视觉、自然语言处理、语音识别等领域。在计算机视觉的研究领域，图像的风格迁移一直是一个倍受关注的方向。风格迁移相较其它任务，有更高的趣味性，因为它涉及到了人文艺术的精神领域。但是让计算机自动完成风格迁移的任务，并不是一件容易的事情，生成对抗网络（gan）是一种具有很大潜力的深度学习模型，它可以生成非常真实的合成图片，在图像转换、图像风格迁移等领域得到了广泛应用。在gan模型中，有两个主要的组成部分：生成器和判别器。生成器负责生成新的数据，而判别器则负责判断生成的数据是否真实。在训练过程中，生成器和判别器会进行对抗性训练，不断优化自己的参数，以欺骗对方。这种对抗性训练过程可以使得生成的数据越来越真实，同时也可以提高模型的泛化能力。
2、传统的艺术家手绘不同风格的人像的过程中，有两个难点，第一个是需要准确地捕捉人物外表特点并勾勒出来，第二个是用特定的纹理和艺术风格填充不同风格的人像图片。也正是计算机自动生成不同风格人像面临的难点。针对第一个难点，在生成对抗网络中，可以用身份损失来校准。但针对上述提到的第二个难点，仅通过使用相对简单的损失函数，并不容易得到理想的效果。因为模拟现有的风格创作出一幅全新的相似该风格的图像，是生成领域的难题。
3、可见，为解决上述技术
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提供一种生成对抗网络的训练方法、双向图像风格转换方法和装置，通过在生成网络中加入特征二维注意力模块，并与卷积层、转置卷积层和反卷积层相配合，根据目标域的特征对图像进行自适应的调整，从而根据训练后的生成对抗网络模拟现有的风格创作出一幅全新的相似该风格的图像。
2、为达到上述目的，本专利技术是采用下述技术方案实现的：
3、第一方面，本专利技术提供了一种生成对抗网络的训练方法，包括：
4、获取用于训练的图像数据集，其中所述图像数据集包括多个真实第一风格图像以及对应的真实第二风格图像；
5、利用所述图像数据集对生成对抗网络进行训练，获得训练好的生成对抗网络；其中，所述生成对抗网络包括生成网络和判别网络，训练过程具体包括：
6、将真实第一风格图像输入生成网络，得到生成第二风格图像；
7、将生成第二风格图像输入判别网络，得到生成第二风格图像的判别结果；
8、基于所述生成第二风格图像与真实第二风格图像以及生成第二风格图像的判别结果，利用预构建的生成对抗网络的损失函数，进行迭代训练，直至达到预设条件，得到训练好的生成对抗网络。
9、进一步的，所述判别网络包括多模态判别器，所述多模态判别器包括多个结构相同、输入特征图尺寸不同的判别器，所述多模态判别器用于将多个判别器的输出加权相加后获得最终的判别输出；
10、其中，生成对抗网络的损失函数的构建方法，包括：
11、基于生成第二风格图像与真实第二风格图像，确定生成网络的第一损失函数；以及基于生成第二风格图像的判别结果和真实第二风格图像，确定判别网络的第二损失函数；
12、根据第一损失函数和第二损失函数，结合多模态判别器对不同尺寸特征图的判别结果，获得生成对抗网络的损失函数。
13、进一步的，确定的第一损失函数，包括：
14、，
15、式中，训练图像的配对数据集由（ x，y）表示， x为真实第一风格图像， y是真实第二风格图像， e为分布函数的数学期望， g( x)表示生成网络 g 生成的生成第二风格图像；
16、确定的第二损失函数，包括：
17、，
18、式中， d( x,y)表示判别网络 d对于真实样本的预测概率， d( x,g( x,z))表示判别器对于生成样本的预测概率，为真实标签，对于真实样本为1，对于生成样本为 0， z为随机噪声，是判别网络 d对于真实第一风格图像和真实第二风格图像预测概率的数学期望，是判别网络 d对于真实第一风格图像和生成第二风格图像预测概率的数学期望；
19、确定的生成对抗网络的损失函数，包括：
20、，
21、式中，，，为多模态判别器在三个尺度上对目标风格的输出图像进行判别，分别为原图，原图的1/2降采样图，原图的1/4降采样图， λ为第一损失函数的超参数，（ g，）为第二损失函数，（ g，）为第一损失函数。
22、第二方面，本专利技术提供了一种双向图像风格转换方法，包括：
23、获取待转换的第一风格图像；
24、通过预先训练好的生成对抗网络中的生成网络对待转换的所述第一风格图像的图像风格进行转换，得到第二风格图像，其中，
25、所述预先训练好的生成对抗网络为通过第一方面所述的生成对抗网络的训练方法训练后得到；
26、所述生成网络包括卷积层、转置卷积层、反卷积层和特征二维注意力模块；所述卷积层用于对第一风格图像进行卷积运算，获得第一风格的初始特征图；所述转置卷积层用于将初始特征图转换为第二风格的中间特征图；所述特征二维注意力模块用于对中间特征图进行通道和空间上的注意力计算获得注意力特征图；所述反卷积层用于对注意力特征图进行反卷积运算，以获得生成的第二风格图像。
27、进一步的，所述注意力特征图的获得方法，包括：
28、根据获得的中间特征图进行通道注意力计算，获得通道注意力特征；
29、根据获得的通道注意力特征，与中间特征图做基于元素排列乘法操作，获得空间注意力输入特征；
30、根据获得的空间注意力输入特征，进行空间注意力计算，获得空间注意力特征；
31、将空间注意力特征和通道注意力特征做乘法，获得注意力特征图。
32、进一步的，所述生成网络还包括mfg网络模块，所述mfg网络模块用于增强特征二维注意力模块获得的注意力特本文档来自技高网...
【技术保护点】
1.一种生成对抗网络的训练方法，其特征是，包括：
2.根据权利要求1所述的生成对抗网络的训练方法，其特征是，所述判别网络包括多模态判别器，所述多模态判别器包括多个结构相同、输入特征图尺寸不同的判别器，所述多模态判别器用于将多个判别器的输出加权相加后获得最终的判别输出；
3.根据权利要求2所述的生成对抗网络的训练方法，其特征是，确定的第一损失函数，包括：
4.一种双向图像风格转换方法，其特征是，包括：
5.根据权利要求4所述的双向图像风格转换方法，其特征是，所述注意力特征图的获得方法，包括：
6.根据权利要求5所述的双向图像风格转换方法，其特征是，所述生成网络还包括MFG网络模块，所述MFG网络模块用于增强特征二维注意力模块获得的注意力特征图的特征表示，包括：
7.根据权利要求6所述的双向图像风格转换方法，其特征是，所述生成网络为跳跃网络架构。
8.根据权利要求7所述的双向图像风格转换方法，其特征是，
9.一种生成对抗网络的训练装置，其特征在于，包括：
10.一种双向图像风格
...【技术特征摘要】
1.一种生成对抗网络的训练方法，其特征是，包括：
2.根据权利要求1所述的生成对抗网络的训练方法，其特征是，所述判别网络包括多模态判别器，所述多模态判别器包括多个结构相同、输入特征图尺寸不同的判别器，所述多模态判别器用于将多个判别器的输出加权相加后获得最终的判别输出；
3.根据权利要求2所述的生成对抗网络的训练方法，其特征是，确定的第一损失函数，包括：
4.一种双向图像风格转换方法，其特征是，包括：
5.根据权利要求4所述的双向图像风格转换方法，其特征是，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。