一种基于循环生成对抗网络的素描画生成方法及系统技术方案

本发明专利技术公开了一种基于循环生成对抗网络的素描画生成方法及系统，该方法包括：获取素描画数据训练集；引入卷积注意力模块和自适应层实例残差块，以循环一致性损失函数为约束，构建循环生成对抗网络模型；将素描画数据训练集输入至循环生成对抗网络模型进行训练，生成素描画图像。该系统包括：获取模块、构建模块块和训练模块。通过使用本发明专利技术，能够通过增强素描画的纹理特征信息从而提高素描画的图像生成质量。本发明专利技术作为一种基于循环生成对抗网络的素描画生成方法及系统，可广泛应用于素描画生成技术领域。生成技术领域。生成技术领域。

【技术实现步骤摘要】
一种基于循环生成对抗网络的素描画生成方法及系统


[0001]本专利技术涉及素描画生成
，尤其涉及一种基于循环生成对抗网络的素描画生成方法及系统。

技术介绍

[0002]素描画是我国艺术院校招生考试中一项重要的考试内容，其分值在艺术类高考总分中占较大的比例，在传统方法中，仍采用教师手工绘制来作为素描画的生成方法，但其作品绘画效率低、在绘画中带有主观性与教师水平参差不齐等问题，虽然现阶段涌现出了许多基于人工智能的素描画生成方法，例如有学者通过预训练模型VGG
‑
19提出了一种基于卷积神经网络的风格转化方法，但是这种方法只提取了图像高层特征，摒弃了低层信息，因此风格化后的图像会出现细节丢失的情况，再者有科研人员基于全卷积神经网络对素描和照片进行训练，实现从照片到素描画的转化，但是这种方法得到的结果不够精细，比较模糊和平滑，对图像中的细节不敏感，另一种代表性的素描画生成方法是Pix2Pix，该模型通过使用CGAN作为图像生成的主框架，在生成器是使用的是经典的U
‑
Net网络，增加了对图像细节特征的提取，但Pix2pix中的对抗训练不稳定，难以使模型生成高分辨率图像，而且此方法必须使用成对的图像作为源域和目标域，对训练时使用的数据集要求太高。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种基于循环生成对抗网络的素描画生成方法及系统，能够通过增强素描画的纹理特征信息从而提高素描画的图像生成质量。
[0004]本专利技术所采用的第一技术方案是：一种基于循环生成对抗网络的素描画生成方法，包括以下步骤：
[0005]获取素描画数据训练集；
[0006]引入卷积注意力模块和自适应层实例残差块，以循环一致性损失函数为约束，构建循环生成对抗网络模型；
[0007]将素描画数据训练集输入至循环生成对抗网络模型进行训练，生成素描画图像。
[0008]进一步，所述引入卷积注意力模块和自适应层实例残差块，以循环一致性损失函数为约束，构建循环生成对抗网络模型这一步骤，其具体包括：
[0009]以CycleGAN生成器为原型，引入卷积注意力模块和自适应层实例残差块，构建生成器网络；
[0010]根据循环一致性损失函数为约束，构建循环对抗损失函数，所述循环对抗损失函数包括均方误差损失函数、步骤损失函数、循环一致性损失函数和步骤循环一致性损失项；
[0011]选取马尔科夫判别器为判别器网络；
[0012]结合生成器网络、循环对抗损失函数和判别器网络，构建循环生成对抗网络模型。
[0013]进一步，所述将素描画数据训练集输入至循环生成对抗网络模型进行训练，生成
素描画图像这一步骤，其具体包括：
[0014]基于循环生成对抗网络模型的生成器网络，对素描画数据训练集的不同特征与不同区域进行非均匀处理，得到细节增强的素描画数据训练集；
[0015]基于循环生成对抗网络模型的循环对抗损失函数，对循环生成对抗网络模型每次迭代的细节增强的素描画数据训练集与真实图像的差距进行计算，输出计算结果；
[0016]基于循环生成对抗网络模型的判别器网络，根据计算结果对细节增强的素描画数据训练集进行判别处理，循环生成对抗网络模型根据判别结果进行模型参数调整直至达到模型最优状态后输出素描画图像。
[0017]进一步，所述基于循环生成对抗网络模型的生成器网络，对素描画数据训练集的不同特征与不同区域进行非均匀处理，得到细节增强的素描画数据训练集这一步骤，其具体包括：
[0018]将素描画数据训练集图像输入至循环生成对抗网络模型的生成器网络，所述循环生成对抗网络模型的生成器网络包括下采样层、残差块、卷积注意力模块、自适应残差块和上采样层；
[0019]基于下采样层对素描画数据训练集进行特征提取，得到提取特征后的特征图；
[0020]基于残差块对提取特征后的特征图进行保留特征，得到保留原始图像特征的特征图；
[0021]基于卷积注意力模块对保留原始图像特征的特征图进行特征选择和增强，得到突出主要特征的特征图；
[0022]基于自适应层实例残差块对突出主要特征的特征图进行自适应地改善图像风格的传递，得到改善后的特征图；
[0023]基于上采样层对归一化后的改善后的特征图进行放大处理，得到具有风格特征的素描画图像即细节增强的素描画数据训练集。
[0024]进一步，所述基于卷积注意力模块对保留原始图像特征的特征图进行特征选择和增强，得到突出主要特征的特征图这一步骤，其具体包括：
[0025]将保留原始图像特征的特征图作为输入特征图输入至卷积注意力模块，所述卷积注意力模块包括通道注意力模块和空间注意力模块；
[0026]基于通道注意力模块对保留原始图像特征的特征图进行计算，输出一维的通道注意力权值；
[0027]基于空间注意力模块对经过通道注意力模块之后的特征图进行计算，输出二维的空间注意力权值；
[0028]整合具有一维的通道注意力权值与二维的空间注意力权值的特征图，得到突出主要特征的特征图。
[0029]进一步，所述基于通道注意力模块对保留原始图像特征的特征图进行计算，输出一维的通道注意力权值这一步骤，其具体包括：
[0030]基于通道注意力模块，通过全局最大池化和全局平均池化对输入特征图在空间维度上进行压缩，得到最大池化特征图和平均池化特征图；
[0031]通过由多层感知机组成的共享网络和sigmoid激活函数对最大池化特征图和平均池化特征图进行注意力计算，输出一维的通道注意力权值。
[0032]进一步，所述基于空间注意力模块对经过通道注意力模块之后的特征图进行计算，输出二维的空间注意力权值这一步骤，其具体包括：
[0033]基于空间注意力模块，沿着特征图的通道维度进行平均池化和最大池化操作，得到第一二维特征图与第二二维特征图；
[0034]对第一二维特征图与第二二维特征图进行拼接处理，得到拼接后的二维特征图；
[0035]对拼接后的二维特征图依次进行卷积处理与激活函数计算处理，输出二维的空间注意力权值。
[0036]进一步，自适应层实例残差块指在卷积操作之间嵌入自适应层实例归一化，其表达式具体如下所示：
[0037][0038]上式中，AdaLIN(
·
)表示自适应层实例归一化函数，表示前一卷积层的输出，表示前一卷积层的输出经过实例归一化之后得到表示前一卷积层的输出经过层归一化之后得到γ、β通过网络计算得到，τ表示IN和LN分别所占的权重比，取值在[0,1]之间。
[0039]进一步，所述循环生成对抗网络模型的循环对抗损失函数的表达式具体如下所示：
[0040]L(G
+
,G
‑
,D)＝L
LSGAN
(G
+
,G
‑
,D)+λ1L
step...

【技术保护点】

【技术特征摘要】
1.一种基于循环生成对抗网络的素描画生成方法，其特征在于，包括以下步骤：获取素描画数据训练集；引入卷积注意力模块和自适应层实例残差块，以循环一致性损失函数为约束，构建循环生成对抗网络模型；将素描画数据训练集输入至循环生成对抗网络模型进行训练，生成素描画图像。2.根据权利要求1所述一种基于循环生成对抗网络的素描画生成方法，其特征在于，所述引入卷积注意力模块和自适应层实例残差块，以循环一致性损失函数为约束，构建循环生成对抗网络模型这一步骤，其具体包括：以CycleGAN生成器为原型，引入卷积注意力模块和自适应层实例残差块，构建生成器网络；根据循环一致性损失函数为约束，构建循环对抗损失函数，所述循环对抗损失函数包括均方误差损失函数、步骤损失函数、循环一致性损失函数和步骤循环一致性损失项；选取马尔科夫判别器为判别器网络；结合生成器网络、循环对抗损失函数和判别器网络，构建循环生成对抗网络模型。3.根据权利要求2所述一种基于循环生成对抗网络的素描画生成方法，其特征在于，所述将素描画数据训练集输入至循环生成对抗网络模型进行训练，生成素描画图像这一步骤，其具体包括：基于循环生成对抗网络模型的生成器网络，对素描画数据训练集的不同特征与不同区域进行非均匀处理，得到细节增强的素描画数据训练集；基于循环生成对抗网络模型的循环对抗损失函数，对循环生成对抗网络模型每次迭代的细节增强的素描画数据训练集与真实图像的差距进行计算，输出计算结果；基于循环生成对抗网络模型的判别器网络，根据计算结果对细节增强的素描画数据训练集进行判别处理，循环生成对抗网络模型根据判别结果进行模型参数调整直至达到模型最优状态后输出素描画图像。4.根据权利要求3所述一种基于循环生成对抗网络的素描画生成方法，其特征在于，所述基于循环生成对抗网络模型的生成器网络，对素描画数据训练集的不同特征与不同区域进行非均匀处理，得到细节增强的素描画数据训练集这一步骤，其具体包括：将素描画数据训练集图像输入至循环生成对抗网络模型的生成器网络，所述循环生成对抗网络模型的生成器网络包括下采样层、残差块、卷积注意力模块、自适应残差块和上采样层；基于下采样层对素描画数据训练集进行特征提取，得到提取特征后的特征图；基于残差块对提取特征后的特征图进行保留特征，得到保留原始图像特征的特征图；基于卷积注意力模块对保留原始图像特征的特征图进行特征选择和增强，得到突出主要特征的特征图；基于自适应层实例残差块对突出主要特征的特征图进行自适应地改善图像风格的传递，得到改善后的特征图；基于上采样层对归一化后的改善后的特征图进行放大处理，得到具有风格特征的素描画图像即细节增强的素描画数据训练集。5.根据权利要求4所述一种基于循环生成对抗网络的素描画生成方法，其特征在于，所
述基于卷积注意力模块对保留原始图像特征的特征图进行特征选择和增强，得到突出主要特征的特征图这一步骤，其具体包括：将保留原始图像特征的特征图作为输入特征图输入至卷积注意力模块，所述卷积注意力模块包括通道注意力模块和空间注意力模块；基于通道注意力模块对保留原始图像特征的特征图进行计算，输出一维的通道注意力权值；基于空间注意力模块对经过通道注意力模块之后的特征图进行计算，输出二维的空间注意力权值；整合具有一维的通道注意力权值与二维的空间注意力权值的特征图，得到突出主要特征的特征图。6.根据权利要求5所述一种基于循环生成对抗网络的素描画生成方法，其特征在于，所述基于通道注意力模块对保留原始图像特征的特征图进行计算，输出一维的通道注意力权值这一步骤，其具体包括：基于通道注意力模块，通过全局最大池化和全局平均池化对输入特征图在空间维度上进行压缩，得到最大池化特...

【专利技术属性】
技术研发人员：李珍妮，宋孟闯，纪毅，蔡奕辉，韩明钰，林庚鑫，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：