【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种应用于中国山水画的图像风格迁移方法。
技术介绍
1、风格迁移作为一种引人注目的图像处理技术，源自于对艺术风格和图像内容之间关系的深入研究。传统的图像处理主要关注于图像的内容分析和操作。然而，随着计算机视觉和深度学习领域的不断发展，人们开始关注如何将艺术风格与图像内容相结合，创造出独特而富有艺术感染力的图像。
2、目前，风格迁移领域的研究方向主要集中在西方艺术品上，而对东方艺术形式的关注相对较少。中国画，简称“国画”，是一种古老的艺术表达形式，利用调配过浓度的水与墨创作出来的画。中国山水画是中国画的重要画科，具有深厚的历史和文化内涵。通过风格迁移技术，可以将这一传统的艺术形式与现代图像生成相结合，实现文化传承和创新的平衡。相对于西方的绘画作品，中国画有着截然不同的特点，尤其是中国山水画更注重写意，偏向于用线条来勾勒出场景的层次，因此在内容和表现形式上与西方画有着显著的差异。对西方绘画效果较好的风格迁移方法应用到中国画风格迁移上并不是最佳选择。因此，需要针对中国山水画的艺术特点，构建一种将风景照片转换为中国山水画的风格迁移方法。
3、目前，针对中国山水画的风格迁移方法中常使用生成对抗网络，通过增加相应的损失函数进行约束或者将组合不同的，以实现草图到中国山水画的风格迁移。然而，这些方法存在着一些局限性，主要表现在：(1)生成的中国山水画仅学习到了风格信息，而忽略了画作本身的线条感；(2)生成的中国山水画中包含多余的部分，未能有效地控制或保留原始图像的特征，导致一些不必要或者
技术实现思路
1、为了解决现有技术中存在的上述技术问题，本专利技术提出了一种应用于中国山水画的图像风格迁移方法，旨在能够将现实中风景照片图像画面转换成高质量的中国山水画风格的图像画面，其具体技术方案如下：
2、一种应用于中国山水画的图像风格迁移方法：
3、首先，收集未配对的真实风景图像和中国山水画图片组成的图像数据，构建训练集和测试集；
4、然后，构建风格迁移模型，设计模型的残差注意力生成器，并通过该残差注意力生成器对输入的训练集中的真实风景图像进行多尺度和全局信息的特征提取，生成对应假图像；
5、接着，在模型中引入语义约束模块，将所述假图像和真实风景图像分别输入到预训练的文本-图像编码器中编码成语义向量，后由语义约束模块计算衡量语义相似度的语义损失函数；
6、再者，将计算得到的语义损失函数传递给风格迁移模型，通过反向传播优化残差注意力生成器，更新模型参数，通过迭代训练至模型收敛；
7、最后，采用测试集对训练好的风格迁移模型进行测试。
8、进一步的，所述训练集中的真实风景图像在输入模型前进行预处理操作，所述预处理操作包括：调整图片大小和数据增强。
9、进一步的，所述残差注意力生成器包括编码结构、解码结构和视觉注意力模块，所述视觉注意力模块中间连接编码结构与解码结构；
10、所述编码结构对输入的真实风景图像逐渐下采样以提取多尺度特征，后传输到视觉注意力模块进行全局信息特征提取，然后将视觉注意力模块输出的特征和编码结构对应阶段的输出特征进行拼接，作为解码结构的输入特征，通过解码结构的上采样操作，最后得到生成的假图像。
11、进一步的，所述编码结构由5个编码模块组成，当前编码模块的输出特征通过下采样传递给下一个编码模块，其中第五个编码模块不进行下采样传递；
12、所述解码结构由5个解码模块组成，当前解码模块的输出特征与对应编码模块的输出特征拼接后进行上采样操作传递给下一个解码模块，其中第五个解码模块的输入为第五个编码模块的输出特征与视觉注意力模块输出的特征拼接后上采样得到的特征，第一个解码模块不进行上采样传递。
13、进一步的，所述编码模块与解码模块内部结构相同，两者内部均设有跳跃连接的若干个基本卷积块，所述若干个基本卷积块对称的分为左侧下采样传递的基本卷积块和右侧上采样传递的基本卷积块，则左侧下采样传递的基本卷积块与右侧上采样传递的基本卷积块对应后跳跃连接，每个基本卷积块由卷积层、批归一化层和relu激活操作层组成；所述下采样操作为窗口大小为2、步长为2的最大池化操作；在左侧下采样传递的基本卷积块中，第一个基本卷积块和最后一个基本卷积块的输出特征不进行下采样传递；
14、所述左侧下采样传递的基本卷积块的输出特征图与当前对应的右侧上采样传递的基本卷积块的输出特征图拼接后输入到右侧的下一个基本卷积块，右侧下一个基本卷积块再通过上采样操作逐渐将特征图的尺寸增大，其中左侧的第一个基本卷积块的输出特征和右侧第一个基本卷积块的输出特征拼接得到最后的输出特征。
15、进一步的，所述视觉注意力模块对输入的特征进行展平和嵌入操作，得到特征x_1(l，features)，其中l是序列长度，features是特征维度；所述嵌入操作具体为：对坐标进行归一化，然后经过线性层，最后计算正弦值；所述展平操作具体为：维度置换和分块；
16、再将特征x_1(l，features)输入到注意力编码器模块中进行特征编码：先对特征x_1(l，features)进行线性层形状调整和层归一化，得到特征x_3，通过多头注意力模块输出为特征x_4，将特征x_3和特征x_4拼接得到特征y；
17、然后将特征y经过层归一化得到特征y_1，经过线性层、gelu激活函数和线性层得到输出特征y_2，将y_1和y_2拼接之后再次经过线性层得到最终输出x_out。
18、进一步的，所述风格迁移模型还设计有判别器，所述判别器输入生成的假图像和中国山水画图片即风格图像，计算对抗损失函数，使判别器难以区分生成的假图像和真实风格图像，如(1)式所示：
19、
20、其中，表示真实图片y的概率密度分布函数，表示输入图像x的概率密度分布函数；dy(y)表示判别器判别y域中图片y的真假，g(x)表示生成器的图片，dy(g(x))表示判别器判别生成y域的图片是否为假。
21、进一步的，所述风格迁移模型还设计有逆向生成器，所述逆向生成器的映射方向与残差注意力生成器的映射方向相反，所述残差注意力生成器g生成的图片传输到逆向生成器f中，逆向生成器f输出得到重构图片，所述判别器d对重构图片和真实风景图像进行评估，计算如下式(2)所示的对抗损失函数和如下式(3)所示循环一致性损失函数：
22、
23、
24、其中||·||1表示l1范数，f是逆向生成器，f的映射方向与残差注意力生成器g的映射方向相反，其中正向映射是将x域的图像x输入到残差注意力生成器g中，生成与y域类似的图像g(x)，再输入到逆向生成器f中，生成原始输入图像f(g(x))，与x进行比较；同理，逆向映本文档来自技高网...
【技术保护点】
1.一种应用于中国山水画的图像风格迁移方法，其特征在于：
2.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述训练集中的真实风景图像在输入模型前进行预处理操作，所述预处理操作包括：调整图片大小和数据增强。
3.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述残差注意力生成器包括编码结构、解码结构和视觉注意力模块，所述视觉注意力模块中间连接编码结构与解码结构；
4.如权利要求3所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述编码结构由5个编码模块组成，当前编码模块的输出特征通过下采样传递给下一个编码模块，其中第五个编码模块不进行下采样传递；
5.如权利要求4所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述编码模块与解码模块内部结构相同，两者内部均设有跳跃连接的若干个基本卷积块，所述若干个基本卷积块对称的分为左侧下采样传递的基本卷积块和右侧上采样传递的基本卷积块，则左侧下采样传递的基本卷积块与右侧上采样传递的基本卷积块对应后跳跃连接，每个基本卷积块由卷积层、
6.如权利要求4所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述视觉注意力模块对输入的特征进行展平和嵌入操作，得到特征X_1(L，features)，其中L是序列长度，features是特征维度；所述嵌入操作具体为：对坐标进行归一化，然后经过线性层，最后计算正弦值；所述展平操作具体为：维度置换和分块；
7.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述风格迁移模型还设计有判别器，所述判别器输入生成的假图像和中国山水画图片即风格图像，计算对抗损失函数，使判别器难以区分生成的假图像和真实风格图像，如(1)式所示：
8.如权利要求7所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述风格迁移模型还设计有逆向生成器，所述逆向生成器的映射方向与残差注意力生成器的映射方向相反，所述残差注意力生成器G生成的图片传输到逆向生成器F中，逆向生成器F输出得到重构图片，所述判别器D对重构图片和真实风景图像进行评估，计算如下式(2)所示的对抗损失函数和如下式(3)所示循环一致性损失函数：
9.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：通过使用余弦距离作为语义损失函数，对风格迁移模型进行语义约束，所述语义损失函数的计算表达式如(4)式所示：
...【技术特征摘要】
1.一种应用于中国山水画的图像风格迁移方法，其特征在于：
2.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述训练集中的真实风景图像在输入模型前进行预处理操作，所述预处理操作包括：调整图片大小和数据增强。
3.如权利要求1所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述残差注意力生成器包括编码结构、解码结构和视觉注意力模块，所述视觉注意力模块中间连接编码结构与解码结构；
4.如权利要求3所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述编码结构由5个编码模块组成，当前编码模块的输出特征通过下采样传递给下一个编码模块，其中第五个编码模块不进行下采样传递；
5.如权利要求4所述的一种应用于中国山水画的图像风格迁移方法，其特征在于：所述编码模块与解码模块内部结构相同，两者内部均设有跳跃连接的若干个基本卷积块，所述若干个基本卷积块对称的分为左侧下采样传递的基本卷积块和右侧上采样传递的基本卷积块，则左侧下采样传递的基本卷积块与右侧上采样传递的基本卷积块对应后跳跃连接，每个基本卷积块由卷积层、批归一化层和relu激活操作层组成；所述下采样操作为窗口大小为2、步长为2的最大池化操作；在左侧下采样传递的基本卷积块中，第一个基本卷积块和最后一个基本卷积块的输出特征不进行下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。