图像艺术风格迁移方法、系统、电子设备、存储介质技术方案

本发明专利技术提供一种图像艺术风格迁移方法、系统、电子设备、存储介质，所述迁移方法包括：提取内容图和风格图的内容特征；基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。通过对比学习训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。获取高质量的风格化图片。获取高质量的风格化图片。

【技术实现步骤摘要】
图像艺术风格迁移方法、系统、电子设备、存储介质


[0001]本专利技术涉及数字图像处理
，尤其涉及一种图像艺术风格迁移方法、系统、电子设备、存储介质。

技术介绍

[0002]艺术风格迁移旨在将风格从艺术品转移到自然场景。理想的艺术风格迁移模型应该在保留内容图像的结构信息的同时，捕捉并迁移风格图像的局部笔画特征和整体外观。传统的风格迁移方法如笔画渲染、图像类比或图像过滤，通常使用低级别的手工制作功能。随着深度学习方法的发展，基于神经网络的方法被引入并主导了该领域。通过使用预训练的神经网络得到图像特征，并将风格表示为多级特征相关性(例如，格拉姆矩阵、均值和方差)并应用基于风格匹配的优化程序。遵循这个框架，基于在内容丢失、样式丢失以及网络架构方面的改进和修改，已经提出了许多变体。
[0003]虽然上述方法都取得了合理的结果，但在风格化输出中仍然存在明显的伪影。主要原因是他们的风格表示和优化依赖于特征的二阶统计量，其缺点在两个方面：首先，二阶统计量在一定程度上可以区分不同的风格，但不是表示风格的最佳方式(例如，不同风格的图像可能会产生等效的格拉姆矩阵或方差)，因为它们关注的是整个图像的分布并忽略对象的细节；其次，任意风格化通常以启发式方式通过人工设计的图像特征和损失函数(例如，格拉姆矩阵)来模拟传输风格。

技术实现思路

[0004]本专利技术的目的是提供一种图像艺术风格迁移方法，部分实施例能够用以解决现有技术中风格化输出仍然存在明显伪影的缺陷，与其仅测量单个参考图像和一个风格化输出之间的差异，不如利用大量可用的艺术图片，获得有效的对多种风格的分布及其关系的建模。为此，基于机器学习方法和深度学习算法，提出了一种新颖的风格迁移框架，用于任意艺术风格迁移。
[0005]本专利技术提供的一种图像艺术风格迁移方法，所述迁移方法包括：
[0006]提取内容图和风格图的内容特征；
[0007]基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
[0008]其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
[0009]根据本专利技术提供的一种图像艺术风格迁移方法，所述多层风格投影器基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、对应风格图的图像增强版本和其他风格艺术图三者的风格编码。
[0010]根据本专利技术提供的一种图像艺术风格迁移方法，所述风格迁移网络在训练时受到
循环一致性的约束，包括：
[0011]将第一图作为风格图、第二图作为内容图，输入所述风格迁移网络，形成第三图；
[0012]再将第三图作为内容图、第二图作为风格图，输入所述风格迁移网络，得到复原的第四图；
[0013]训练所述风格迁移网络时，保持第二图和第四图一致。
[0014]根据本专利技术提供的一种图像艺术风格迁移方法，所述风格迁移网络在训练时同时受到域增强的约束，包括：
[0015]设置真实感图判别器和艺术图判别器；
[0016]将第五图作为所述真实感图判别器的真实样本，第六图作为艺术图判别器的真实样本；
[0017]将第五图作为内容图、第六图作为风格图，输入所述风格迁移网络，形成第七图，作为艺术图判别器的假样本；
[0018]将第五图作为风格图、第六图作为内容图，输入所述风格迁移网络，形成第八图，作为真实感图判别器的假样本；
[0019]训练所述风格迁移网络，使得艺术图判别器和真实感图判别器不能判定生成图的真假。
[0020]根据本专利技术提供的一种图像艺术风格迁移方法，所述基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图，包括：
[0021]采用自适应归一化方法，将内容图的内容特征的均值和方差，与风格图的内容特征的均值和方差对齐；
[0022]采用预设的自编码器，基于均值和方差对齐后的内容图的内容特征形成生成图。
[0023]根据本专利技术提供的一种图像艺术风格迁移方法，所述多层风格投影器包括：风格特征提取器和多层投影器，所述风格特征提取器能够获取图像的风格特征，所述多层投影器将所述风格特征转换为风格编码。
[0024]本专利技术还提供的一种图像艺术风格迁移系统，所述迁移系统包括：
[0025]提取模块，所述提取模块提取内容图和风格图的内容特征；
[0026]迁移模块，所述迁移模块基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
[0027]其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
[0028]本专利技术还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述图像艺术风格迁移方法的步骤。
[0029]本专利技术还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像艺术风格迁移方法的步骤。
[0030]本专利技术还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像艺术风格迁移方法的步骤。
[0031]本专利技术提供的图像艺术风格迁移方法、系统、电子设备、存储介质，通过对比学习
训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术提供的图像艺术风格迁移方法的流程示意图；
[0034]图2为本专利技术提供的多层风格投影器的结构示意图；
[0035]图3为本专利技术提供的多层投影器的结构示意图；
[0036]图4为本专利技术提供的优化多层风格投影器和风格迁移网络的流程示意图；
[0037]图5为本专利技术提供的图像艺术风格迁移系统的结构示意图；
[0038]图6为本专利技术提供的一种电子设备的实体结构示意图。
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]下面结合附图，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像艺术风格迁移方法，其特征在于，所述迁移方法包括：提取内容图和风格图的内容特征；基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。2.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述多层风格投影器基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、对应风格图的图像增强版本和其他风格艺术图三者的风格编码。3.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述风格迁移网络在训练时受到循环一致性的约束，包括：将第一图作为风格图、第二图作为内容图，输入所述风格迁移网络，形成第三图；再将第三图作为内容图、第二图作为风格图，输入所述风格迁移网络，得到复原的第四图；训练所述风格迁移网络时，保持第二图和第四图一致。4.根据权利要求3所述的图像艺术风格迁移方法，其特征在于，所述风格迁移网络在训练时同时受到域增强的约束，包括：设置真实感图判别器和艺术图判别器；将第五图作为真实感图判别器的真实样本，第六图作为艺术图判别器的真实样本；将第五图作为内容图、第六图作为风格图，输入所述风格迁移网络，形成第七图，作为艺术图判别器的假样本；将第五图作为风格图、第六图作为内容图，输入所述风格迁移网络，形成第八图，作为真实感图判别器的假样本；训练所述风格迁移网络，优化目标是使得艺术图判别器和真实感图判别器不能判定生成图的真假。5.根据权利要求1所述的图像艺术风格迁移方法，其特征在于...

【专利技术属性】
技术研发人员：张宇欣，唐帆，董未名，马重阳，黄海斌，徐常胜，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：