一种基于注意力机制的解耦表达国画生成方法技术

本发明专利技术涉及一种基于注意力机制的解耦表达国画生成方法，属于计算机视觉技术领域，可以将图片映射到内容空间和属性空间进行重组，并通过内容判别器和交叉循环一致理论来保证转换过程的一致性。同时，本方法采用MS

【技术实现步骤摘要】
一种基于注意力机制的解耦表达国画生成方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于注意力机制的解耦表达国画生成方法。

技术介绍

[0002]得益于其优秀的观赏性和艺术性，中国传统绘画越来越受到广泛的关注和研究，中国传统绘画的风格和种类繁多，包括工笔、白描和写意画等等，出于对这些具有丰富艺术内涵的中国传统画作的艺术追求，或者研究其艺术特征以供机器建模，希望能够通过计算机自动生成中国传统绘画，然而，这些绘画各自有独特的风格，并且绘画中的中国风特征和复杂结构往往难以捕捉。
[0003]幸运的是，中国传统插画生成属于已经被广泛研究的图像到图像翻译工作，而且已有了许多杰出的研究成果。图像到图像翻译任务的本质都是让模型学习从源数据集到目标数据集的映射，使其能够将原数据集的样本转化为和目标数据集相似的样本。早期与图像翻译相关的工作主要以风格迁移为主。人们利用卷积神经网络强大的特征提取能力，专利技术的神经网络迁移方法能够强制将艺术绘画的颜色特征和艺术细节进入拍摄的真实照片中。后来，变分自动编码器被提出，为端到端的艺术图像生成任务提供了新的思路。
[0004]随着生成式对抗网络的提出，利用生成器和判别器对抗学习的理论，研究人员通过改进生成式对抗网络的模型结构和损失函数，得到了许多高质量的图像生成成果。从那开始，已经涌现了不少基于生成式对抗网络的中国传统绘画生成的研究。但是这些研究还存在生成的图片质量不高，在艺术细节的处理上较为生硬等问题。而且，关于中国传统绘画且规范的数据集非常少，大多不够规范和完整。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺点，提供了一种基于注意力机制的解耦表达国画生成方法，解决了现有基于生成式对抗网络的中国传统绘画生成研究存在的不足。
[0007]本专利技术的目的通过以下技术方案来实现：一种基于注意力机制的解耦表达国画生成方法，其特征在于：所述国画生成方法包括：步骤一、将白描画图像域设为X，工笔画图像域设为Y，并将样本x和y分别输入注意力感知网络中得到x
f
的内容编码和属性编码，以及得到y
f
的内容编码和属性编码；步骤二、将内容编码器和属性编码器处理得到的隐向量进行交换并融合，得到X域和Y域的图像，并融合背景图得到最终图像x
’
和y
’
；步骤三、将内容编码器和属性编码器处理得到的隐向量直接融合得到X域和Y域的
重建图像和，将重建图像和与样本x和y的比较结果作为训练神经网络参数时的优化方向，以实现神经网络参数更新；步骤四、通过判别器对生成的图像x
’
和y
’
进行判断以及内容编码进行判断，并对构建的基于注意力机制的解耦表达生成对抗模型进行训练；步骤五、将步骤一中的样本x和y替换为最终图像x
’
和y
’
分别输入注意力感知网络中，将内容编码器和属性编码器处理得到的隐向量进行交换并融合，得到交叉循环一致重建图像和，将交叉循环一致重建图像和与样本x和y的比较结果作为训练神经网络参数时的优化方向；步骤六、在训练满足约束条件后通过训练好的模型完成白描画、工笔画和水墨画不同风格中国传统绘画图像之间的转化。
[0008]所述将样本x和y分别输入注意力感知网络中得到x
f
的内容编码和属性编码，以及到y
f
的内容编码和属性编码包括：分别将样本x和y输入注意力感知网络中得到注意力图x
a
和y
a
，注意力图x
a
和y
a
分别表示对样本x和y核心区域的提取；将注意力图x
a
和样本x、注意力图y
a
和样本y融合后得到x的前景被强化后的图x
f
和y的前景被强化后的图y
f
；把图x
f
馈送入图像域X的属性编码器和内容编码器，得到x
f
的属性编码和内容编码，把图y
f
馈送入图像域Y的属性编码器和内容编码器，得到y
f
的内容编码和属性编码。
[0009]所述得到X域和Y域的图像，并融合背景图得到最终图像包括：将和融合馈送到X域的生成器G
X
以生成X域的前景图像，将和也可以通过Y域的生成器G
Y
生成Y域的前景图像，并通过注意力模块将背景图和前景图进行融合得到最终图像x
’
和y
’
。
[0010]所述通过判别器对生成的图像x
’
和y
’
进行判断以及内容编码进行判断包括：通过域判别器D
X
和D
Y
判断生成的最终图像x
’
和y
’
是否属于图像域X和图像域Y，通过内容判别器D
C
将接收的和两个内容编码以判断其是否属于同一分布。
[0011]所述基于注意力机制的解耦表达生成对抗模型包括由注意力模块、四个编码器、两个生成器和三个判别器；所述注意力模块由两个注意力网络组成，分别负责对图像域X和图像域Y的注意力图翻译；所述编码器用于得到图像域X和图像域Y的内容编码和属性编码；所述生成器用于对送入编码进行融合得到相应的图像；所述判别器用于对生成的图像x
’
和y
’
进行判断以及内容编码进行判断。
[0012]本专利技术具有以下优点：一种基于注意力机制的解耦表达国画生成方法，通过注意
力机制和潜空间的解耦表示来实现，两者的结合能够生成高质量的中国传统绘画，通过Charbonnier损失函数以保证图像重建，同时利用交叉循环一致性约束来保证合成图像的质量，相较于现有方法本专利技术在模型训练中能够将国画的风格特征与高斯分布进行对齐，因此本专利技术可以直接将随机高斯噪声作为特征向量，使合成的国画更具艺术性和多样性，将合成图像的分辨率从256
×
256提高到了280
×
280。
附图说明
[0013]图1 为本专利技术的神经网络模型结构图；图2 为神经网络模型中注意力模块的示意图；图3 为神经网络模型中背景合成的示意图。
具体实施方式
[0014]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的解耦表达国画生成方法，其特征在于：所述国画生成方法包括：步骤一、将白描画图像域设为X，工笔画图像域设为Y，并将样本x和y分别输入注意力感知网络中得到x
f
的内容编码和属性编码，以及得到y
f
的内容编码和属性编码；步骤二、将内容编码器和属性编码器处理得到的隐向量进行交换并融合，得到X域和Y域的图像，并融合背景图得到最终图像x
’
和y
’
；步骤三、将内容编码器和属性编码器处理得到的隐向量直接融合得到X域和Y域的重建图像和，将重建图像和与样本x和y的比较结果作为训练神经网络参数时的优化方向，以实现神经网络参数更新；步骤四、通过判别器对生成的图像x
’
和y
’
进行判断以及内容编码进行判断，并对构建的基于注意力机制的解耦表达生成对抗模型进行训练；步骤五、将步骤一中的样本x和y替换为最终图像x
’
和y
’
分别输入注意力感知网络中，将内容编码器和属性编码器处理得到的隐向量进行交换并融合，得到交叉循环一致重建图像和，将交叉循环一致重建图像和与样本x和y的比较结果作为训练神经网络参数时的优化方向；步骤六、在训练满足约束条件后通过训练好的模型完成白描画、工笔画和水墨画不同风格中国传统绘画图像之间的转化。2.根据权利要求1所述的一种基于注意力机制的解耦表达国画生成方法，其特征在于：所述将样本x和y分别输入注意力感知网络中得到x
f
的内容编码和属性编码，以及到y
f
的内容编码和属性编码包括：分别将样本x和y输入注意力感知网络中得到注意力图x
a
和y
a
，注意力图x
a
和y
a
分别表示对样本x和y核心区域的提取；将注意力图x
a
和样本x、注意力图y
a
和样本y融合后得到x的前景被...

【专利技术属性】
技术研发人员：陈子涵，李思颖，张轶，
申请(专利权)人：四川大学，
类型：发明
国别省市：