基于轻量化注意力机制的风格迁移方法技术

本发明专利技术提供一种基于轻量化注意力机制的风格迁移方法，涉及人工智能技术领域，方法包括：构建基于轻量化注意力机制的神经网络风格迁移模型；模型中，利用一个线性层将内容图像和风格图像投影为多个图像块，将图像块重塑成图像序列；将从图像块中学习到的位置编码添加到图像序列中；使用编码器网络进行编码，得到内容特征和风格特征；基于内容和风格特征生成融合特征；使用解码器网络将融合特征转换为新的图像；将一张内容图像和一张风格图像输入该模型，输出一张同时保留原始内容和获取艺术风格的图像。本发明专利技术设计了一种轻量型注意力网络架构，在节省时间的同时避免设备资源的浪费，能够高效生成逼真风格化的图像。能够高效生成逼真风格化的图像。能够高效生成逼真风格化的图像。

【技术实现步骤摘要】
基于轻量化注意力机制的风格迁移方法


[0001]本专利技术涉及人工智能
，具体而言，尤其涉及基于轻量化注意力机制的风格迁移方法。

技术介绍

[0002]图像风格迁移是计算机视觉领域中备受关注的研究方向之一。随着深度学习技术的飞速发展，图像风格迁移得到了巨大的突破。简单来说，图像风格迁移就是将一张真实图像的内容与另一幅艺术作品(如油画)的风格相结合，以创造出一幅融合了艺术风格的新图像。在进行图像风格迁移时，输入的图像通常包括一张内容图和一张风格图，输出则是一张结合了两者的风格化结果。
[0003]现有的风格迁移技术可以分为基于优化的方法和基于神经网络的方法两种。基于优化的方法是指通过最小化目标函数来进行风格迁移的方法。其中最经典的算法是通过将待转换图片的内容特征与目标图片的内容特征保持一致，将待转换图片的风格特征与目标图片的风格特征保持一致，最终得到一张既保留了待转换图片的内容，又具有目标图片的风格的图片。该算法使用了卷积神经网络中的卷积层来提取特征，并通过最小化特征之间的差异来实现风格迁移。
[0004]基于神经网络的方法是指使用神经网络来进行风格迁移的方法。其中最经典的算法是使用了一种称为“风格损失”的损失函数，通过将待转换图片的内容特征与目标图片的内容特征保持一致，将待转换图片的风格特征与目标图片的风格特征保持不一致，最终得到一张既保留了待转换图片的内容，又具有目标图片的风格的图片。
[0005]然而，上述两种方法中均存在计算资源消耗大以及生成的图像不够逼真，具有一定的内容损失和风格损失的缺陷。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于轻量化注意力机制的风格迁移方法，本专利技术设计了一种轻量型注意力网络架构，利用共享权重层提取图像特征，在高维空间中利用额外的编码层进一步提取内容特征和风格特征，在节省时间的同时避免设备资源的浪费，能够高效生成逼真风格化的图像。
[0007]为此，本专利技术采用的技术手段如下：
[0008]本专利技术提供了一种基于轻量化注意力机制的风格迁移方法，包括：
[0009]构建基于轻量化注意力机制的神经网络风格迁移模型；神经网络风格迁移模型中，利用一个线性层将内容图像和风格图像投影为多个图像块，将图像块重塑成内容图像序列和风格图像序列；将从图像块中学习到的位置编码分别添加到内容图像序列和风格图像序列中；使用编码器网络对内容图像序列和风格图像序列进行编码，得到内容特征和风格特征；将内容和风格特征进行数学操作或者卷积神经网络结合，生成融合特征；使用解码器网络将融合特征转换为新的图像；
[0010]将一张内容图像和一张风格图像输入神经网络风格迁移模型，神经网络风格迁移模型输出一张同时保留原始内容和获取艺术风格的图像。
[0011]进一步地，使用编码器网络对内容图像序列和风格图像序列进行编码，得到内容特征和风格特征，包括：
[0012]针对内容图像序列和风格图像序列，利用共享权重编码层提取图像的特征；
[0013]利用内容编码层和风格编码层分别提取高维图像内容特征和风格特征。
[0014]进一步地，使用解码器网络将融合特征转换为新的图像，包括：
[0015]利用AdaIN模块获取特征融合后的序列利用AdaIN模块获取特征融合后的序列其中σ(
·
)和μ(
·
)分别用于计算特征方差和均值；F
c
为特征提取得到的内容特征，F
s
为特征提取得到的风格特征；
[0016]利用基于跨注意力机制的解码层将特征融合后的序列X
cs
和添加了位置编码的风格图像序列得到风格化特征相结合；
[0017]通过一个上采样解码器神经网络生成风格化后的图像。
[0018]进一步地，解码器神经网络为反卷积神经网络或变分自编码器，用于将特征矩阵转换为新的像素级图像。
[0019]进一步地，在解码过程中，添加用于确保生成的图像保持一定的视觉感受和内容一致性的正则化项。
[0020]进一步地，将内容和风格特征进行数学操作或者卷积神经网络结合，生成融合特征，包括：
[0021]计算风格图像中的格拉姆矩阵；
[0022]将格拉姆矩阵与内容图像中的特征矩阵相乘，生成融合特征。
[0023]进一步地，使用反向传播算法进行模型优化，以最小化生成图像和目标图像之间的差异。
[0024]较现有技术相比，本专利技术具有以下优点：
[0025]目前而言，传统的风格迁移模型需要大量的艺术作品数据集和高级的卷积神经网络架构进行训练才能产生逼真的艺术图像，这一过程是耗时且耗力的。然而本专利技术中设计了一种轻量型注意力架构，用于解决基于CNN的风格迁移方法由于空间感知域的限制而难以捕捉艺术品中丰富和长程语义概念的问题。相比于最先进的风格迁移注意力模型，该模型规模缩小了约20％的参数规模，提高了约30％的迭代优化速度。此外，通过注意力机制让内容图像自动适应地选择细节风格元素来探索自适应的风格迁移方法，从而鼓励输出图像既具有吸引力又具有合理性。本专利技术在内容保留、风格呈现等方面表现优秀，同时计算复杂度更低，得到了多样的可信风格化图像。该方法具有较高的实用价值和应用潜力。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术实施例中风格迁移基本框架示意图；
[0028]图2为本专利技术实施例中基于轻量化注意力机制的风格迁移方法流程图；
[0029]图3为本专利技术实施例与其他风格化模型对比示意图；
[0030]图4为本专利技术实施例逼真风格化图像生成示意图；
[0031]图5为本专利技术实施例风格化后的艺术作品示例。
具体实施方式
[0032]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0033]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化注意力机制的风格迁移方法，其特征在于，包括：构建基于轻量化注意力机制的神经网络风格迁移模型；所述神经网络风格迁移模型中，利用一个线性层将内容图像和风格图像投影为多个图像块，将所述图像块重塑成内容图像序列和风格图像序列；将从所述图像块中学习到的位置编码分别添加到所述内容图像序列和所述风格图像序列中；使用编码器网络对所述内容图像序列和所述风格图像序列进行编码，得到内容特征和风格特征；将内容和风格特征进行数学操作或者卷积神经网络结合，生成融合特征；使用解码器网络将所述融合特征转换为新的图像；将一张内容图像和一张风格图像输入所述神经网络风格迁移模型，所述神经网络风格迁移模型输出一张同时保留原始内容和获取艺术风格的图像。2.根据权利要求1所述的一种基于轻量化注意力机制的风格迁移方法，其特征在于，使用编码器网络对所述内容图像序列和所述风格图像序列进行编码，得到内容特征和风格特征，包括：针对所述内容图像序列和所述风格图像序列，利用共享权重编码层提取图像的特征；利用内容编码层和风格编码层分别提取高维图像内容特征和风格特征。3.根据权利要求1所述的一种基于轻量化注意力机制的风格迁移方法，其特征在于，使用解码器网络将所述融合特征转换为新的图像，包括：利用自适应实例标准化AdaIN模块获取特征融合后的序列利用自适应实例标准化...

【专利技术属性】
技术研发人员：李祎，付海燕，郭艳卿，谢鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：