基于混合注意力生成对抗网络模型的中国山水画生成方法技术

一种基于混合注意力生成对抗网络模型的中国山水画生成方法，由构建模型训练数据集、构建混合注意力生成对抗网络模型、混合注意力生成对抗网络模型训练和生成中国山水画四部分组成。本发明专利技术通过构建训练模型的数据集对混合注意力生成对抗网络模型进行训练，将混合注意力解码单元集成到生成对抗网络的生成网络中，混合注意力解码单元可以从解码后的特征图中捕获到风格特征、空间特征和通道特征，并进行有机的融合提升了模型生成中国山水画的视觉效果；利用联合损失函数约束模型的训练过程以提升模型性能和加速模型收敛。本发明专利技术基于混合注意力生成对抗网络模型生成的中国山水画具有图像内容清晰，图像视觉效果好等优点。图像视觉效果好等优点。图像视觉效果好等优点。

【技术实现步骤摘要】
基于混合注意力生成对抗网络模型的中国山水画生成方法


[0001]本专利技术涉及图像生成领域，具体涉及一种基于混合注意力生成对抗网络模型的中国山水画生成方法。

技术介绍

[0002]近年来，生成对抗网络(Generative Adversarial networks,GANs)在图像生成领域表现出了优异的性能。生成对抗网络由生成网络和判别网络构成，通过生成网络与判别网络不断地相互博弈进行训练，从而实现图像的生成。前人已经利用生成对抗网络实现了中国山水画的生成，主要方法都集中在利用循环生成对抗网络和条件生成对抗网络来实现中国山水画的生成。如何有效地提升生成中国山水画的质量与视觉效果仍是需要重点研究的内容。
[0003]利用多尺度草图作为辅助信息的条件生成对抗网络被提出来实现了中国山水画的生成，虽然该方法通过多尺度的草图信息捕获了丰富的上下文特征，但模型的损失函数缺乏对风格损失的考虑。循环生成对抗网络可以利用域间的循环一致性传递高级语义信息，但直接将现有的循环生成对抗网络应用到中国山水画的生成中会导致视觉效果较差。两阶段的草图与绘画生成对抗网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合注意力生成对抗网络模型的中国山水画生成方法，其特征在于由下述步骤组成：S1.构建模型训练数据集从互联网获取中国山水画数据集为Z，根据山水画的内容将数据集Z中的每张图像裁剪成像素为p
×
p的图像形成中国山水画图像数据集Y，将中国山水画图像数据集Y中的每张图像进行整体嵌套边缘检测后构成中国山水画草图数据集X，则(X，Y)组成用于训练模型的训练数据集；S2.构建混合注意力生成对抗网络模型混合注意力生成对抗网络模型由生成网络G和判别网络D构成；所述生成网络G由编码子网G
e
和解码子网G
d
组成，用于依据输入的中国山水画草图输出中国山水画；所述解码子网G
d
由多个结构相同的混合注意力解码单元组成，所述混合注意力解码单元用于对山水画特征图进行解码与特征提取；所述混合注意力解码单元对山水画特征图进行解码与特征提取按照下式进行，x
out
＝f
concat
(HATT(BN(Deconv(x
in
))，BN(Deconv(x
in
)))
ꢀꢀꢀꢀ
(1)式(1)中f
concat
为在通道维度上对特征图执行合并操作，Deconv为执行反卷积操作，BN为执行归一化操作，HATT为执行混合注意操作，x
in
为混合注意力解码单元的输入，x
out
为混合注意力解码单元的输出；所述判别网络D用于判别输入的图像是否是视觉效果好的中国山水画；S3.训练混合注意力生成对抗网络模型使用训练数据集(X，Y)对混合注意力生成对抗网络模型进行训练，使用联合损失函数L来不断地迭代优化模型以更新参数，直到达到设定的迭代次数上限，即完成混合注意力生成对抗网络模型的训练；S4.依据中国山水画草图生成中国山水画利用训练好的混合注意力生成对抗网络模型对输入的中国山水画草图进行处理，输出中国山水画。2.根据权利要求1所述的基于混合注意力生成对抗网络模型的中国山水画生成方法，其特征在于，所述步骤S2中混合注意力操作HATT的方法为：a1.先按照下式(2)对输入的解码后的特征图x
m
在通道维度上进行分组操作，式(2)中f
split
是在通道维度上对特征图进行分组操作，是分组后的三组特征图；a2.对特征图按照下式(3)进行风格注意力计算得到风格注意力特征图x
sty
，式(3)中是执行内积操作，f
s
是执行sigmoid函数操作，μ是执行计算均值操作，σ是执行计算方差操作；a3.对特征图按照下式(4)进行通道注意力计算得到通道注意力特征图x
cha
，式(4)中f
GAP
为执行全局平均池化操作，w1为权值张量，b1为阈值张量；
a4.对特征图按照下式(5)进行空间注意力计算得到空间注意力特征图x
spa
，式(5)中f
GN
为执行分组归一化操作，w2为权值张量，b2为阈值张量；a5.将风格注意力特征图x
sty
，通道注意力特征图x
cha
和空间注意力特征图x
spa
在通道维度上先进行特征图合并操作，后按照下式(6)执行特征图混洗操作f
cs
得到混合注意力特征图，x
ha
＝f
cs
(f
concat
(x
sty
，x
cha
，x
spa
))
ꢀꢀꢀꢀ
(6)式(6)中x
ha
是混合注意力操作HATT得到的混合注意力特征图。3.根据权利要求1所述的基于混合注意力生成对抗网络模型的中国山水画生成方法，其特征在于，所述的步骤S3中联合损失函数L为，L＝L
cGAN
+αL1+βL
ms_ssim

【专利技术属性】
技术研发人员：吕琼帅，赵娜，杨雨，孙志远，单冬红，喻恒，申琦，吕佳伟，
申请(专利权)人：平顶山学院，
类型：发明
国别省市：