基于门控块的多样性图像风格迁移方法、计算机设备、可读存储介质和程序产品技术

本申请涉及一种基于门控块的多样性图像风格迁移方法、计算机设备、可读存储介质和程序产品，多样性图像风格迁移方法利用多样性图像风格迁移网络实现，多样性图像风格迁移网络包括风格生成网络，风格生成网络包括依次连接的编码器和解码器，编码器用于输入内容图像，解码器用于输出风格化图像，解码器包括依次连接的解码门控块和解码主干网络，解码门控块包括至少包括相互独立且共用输入的第一分支和第二分支，第一分支和第二分支的输出传输到解码主干网络，第一分支和第二分支卷积核的大小和/或瓶颈层中残差块的数量不同；解码门控块包括的各个分支具有门控因子，门控因子用于调节解码门控块中各分支使用程度。节解码门控块中各分支使用程度。节解码门控块中各分支使用程度。

【技术实现步骤摘要】
基于门控块的多样性图像风格迁移方法、计算机设备、可读存储介质和程序产品


[0001]本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于门控块的多 样性图像风格迁移方法、计算机设备、可读存储介质和程序产品。

技术介绍

[0002]图像风格迁移是一种强大的图像编辑和艺术创作技术，它可以将照片以艺 术图像的风格呈现。由于其可观的科学和艺术价值，近年来对这一课题的研究 引起了广泛的关注。最近，Gatys等人在《Image Style Transfer Using ConvolutionalNeural Networks》中的开创性工作首次提出根据预训练深度卷积神经网络 (DCNN)的处理层次提取内容特征和风格相关性(Gram Matrix)，使得分离和重组 任意图像的内容和风格成为可能。尽管有效且灵活，但它是一种基于优化的方 法，速度非常慢且不能实时处理风格迁移，这限制了它的应用范围。为了实现 实时风格化，前馈的风格迁移方法被提出，这些方法利用深度学习网络的优势， 将计算成本纳入训练过程。然而，这些方法在享受推断效率的同时，受到了为 每种风格训练一个网络的不必要要求的限制。
[0003]最近，通用的风格迁移方法被提出，它们通过利用一个单一的模型来迁移 任意的新风格来克服这种困境。与上面提到的效率性和通用性类似，多样性是 反映风格迁移方法的性能的另一个重要方面，并且在最近引起了更多的关注。 从本质上讲，风格迁移是一个多模态问题，一个单一的输入可以对应多个可能 的输出。这主要是因为很难定量和精确地定义艺术图像的风格是什么。相反， 人们被鼓励从不同的角度解读一件艺术图像的风格，这没有一个正确的答案。 因此，风格化结果应该充满多样性，而不是唯一性，这样才能捕捉到可能的输 出的完整分布。为了实现风格迁移的多样性，Li等人和Ulyanov等在《Diversifiedtexture synthesis with feed
‑
forward networks》、《Improved texture networks: Maximizing quality and diversity in feed
‑
forward stylization and texture synthesis》 中人将随机噪声向量与内容图像一起作为输入，利用随机噪声的可变性产生不 同的风格化结果。
[0004]然而，由于内容图像为输出图像提供了强结构先验信息，并且具有比输入 噪声向量更高的维数，因此网络倾向于更关注内容图像，而忽略输入的噪声向 量。为了减轻这一问题，在小批量中降低不同风格化结果的相似性方法被提出。 最近，Wang等人在《Diversified arbitrary style transfer via deep feature perturbation》 中引入了深度特征扰动(DFP)操作，该操作使用正交随机噪声矩阵来扰动深度图 像特征图，同时保持原始风格信息不变。尽管这些方法取得了巨大的进步，但 是难以兼顾多样性和质量。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于门控块的多样性图像风 格迁移方法。
[0006]本申请基于门控块的多样性图像风格迁移方法，利用多样性图像风格迁移 网络实现，所述多样性图像风格迁移网络包括风格生成网络，所述风格生成网 络包括依次连接的编码器和解码器，所述编码器用于输入内容图像，所述解码 器用于输出风格化图像，
[0007]所述解码器包括依次连接的解码门控块和解码主干网络，所述解码门控块 包括至少包括相互独立且共用输入的第一分支和第二分支，所述第一分支和所 述第二分支的输出传输到所述解码主干网络，所述第一分支和所述第二分支卷 积核的大小和/或瓶颈层中残差块的数量不同；
[0008]所述解码门控块包括的各个分支具有门控因子，所述门控因子用于调节所 述解码门控块中各分支使用程度。
[0009]可选的，所述第一分支和第二分支的卷积步长不同。
[0010]可选的，所述解码门控块的分支数量为3～5个。
[0011]可选的，所述多样性图像风格迁移网络包括损失网络，所述损失网络用于 输入所述内容图像、所述风格化图像、以及风格图像，
[0012]所述损失网络用于比较所述风格化图像相较于所述内容图像的损失、比较 所述风格化图像相较于所述风格图像的损失，用于将两种损失最小化，优化所 述风格生成网络。
[0013]可选的，所述编码器基于预先训练的VGG网络构建，所述编码器还用于 输入风格图像。
[0014]可选的，所述编码器包括依次连接的编码主干网络和编码门控块，所述编 码主干网络的输出传输至所述编码门控块，所述编码门控块至少包括相互独立 且共用输出的第六分支和第七分支，第六分支和所述和第七分支卷积核的大小 和/或瓶颈层中残差块的数量不同。
[0015]可选的，还包括对所述多样性图像风格迁移网络进行训练，训练过程包括：
[0016]将所述解码门控块包括的任意一个分支的门控因子赋值为1，将其余各分 支的门控因子赋值为0。
[0017]可选的，还包括利用所述多样性图像风格迁移网络生成不同风格的风格化 图像，具体包括：
[0018]对所述解码门控块包括的各个分支的门控因子赋值，所述门控因子的取值 范围是0～1，各个分支的门控因子的累加和为1；
[0019]利用门控因子赋值后的多样性图像风格迁移网络生成风格化图像。
[0020]可选的，所述编码门控块的分支数量为3～5个。
[0021]本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上的 计算机程序，所述处理器执行所述计算机程序以实现本申请所述的基于门控块 的多样性图像风格迁移方法的步骤。
[0022]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算 机程序被处理器执行时实现本申请所述的基于门控块的多样性图像风格迁移方 法的步骤。
[0023]本申请还提供一种计算机程序产品，包括计算机指令，该计算机指令被处 理器执行时实现本申请所述的基于门控块的多样性图像风格迁移方法的步骤。
[0024]本申请基于门控块的多样性图像风格迁移方法至少具有以下效果：
for Real
‑
Time Style Transfer and Super
‑
Resolution》中 记载的)，某些方法中的编码器是固定的(例如AdaIN和SANet等人论文 《Arbitrary Style Transfer with Style
‑
Attentional Networks》中记载的)。本申请各 实施例中的解码门控块基于现有的风格生成网络进行改进，例如可以是前馈风 格迁移模型，具备兼容性。基于现有的风格生成网络例如可以是任意风格迁移 模型或单风格迁移模型。
[0037]参见图1，在一个实施例中，多样性图像风格迁移网络可以基于现有技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于门控块的多样性图像风格迁移方法，利用多样性图像风格迁移网络实现，所述多样性图像风格迁移网络包括风格生成网络，所述风格生成网络包括依次连接的编码器和解码器，所述编码器用于输入内容图像，所述解码器用于输出风格化图像，其特征在于，所述解码器包括依次连接的解码门控块和解码主干网络，所述解码门控块包括至少包括相互独立且共用输入的第一分支和第二分支，所述第一分支和所述第二分支的输出传输到所述解码主干网络，所述第一分支和所述第二分支卷积核的大小和/或瓶颈层中残差块的数量不同；所述解码门控块包括的各个分支具有门控因子，所述门控因子用于调节所述解码门控块中各分支使用程度。2.根据权利要求1所述的多样性图像风格迁移方法，其特征在于，所述第一分支和第二分支的卷积步长不同。3.根据权利要求1所述的多样性图像风格迁移方法，其特征在于，所述多样性图像风格迁移网络包括损失网络，所述损失网络用于输入所述内容图像、所述风格化图像、以及风格图像，所述损失网络用于比较所述风格化图像相较于所述内容图像的损失、比较所述风格化图像相较于所述风格图像的损失，用于将两种损失最小化，优化所述风格生成网络。4.根据权利要求1所述的多样性图像风格迁移方法，其特征在于，所述编码器基于预先训练的VGG网络构建，所述编码器还用于输入风格图像。5.根据权利要求1所述的多样性图像风格迁移方法，其特征在于，所述编码器包括依次连接的编码...

【专利技术属性】
技术研发人员：赵磊，陈嘉芙，吉柏言，褚天易，陈海博，王志忠，李艾琳，左智文，邢卫，许端清，鲁东明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：