一种基于显著度匹配的画风迁移方法技术

技术编号:19695824 阅读:24 留言:0更新日期:2018-12-08 12:12
本发明专利技术涉及一种基于显著性匹配的画风迁移方法,核心为一个基于显著度匹配的画风迁移深度神经网络模型。该模型由特征抽取、子画风迁移、基于显著度的区域分解和画风图像合成,四个模块组成。在训练时,对所构建的画风迁移网络模型进行分支训练,使每个分支向目标作用优化。与现有技术相比,本发明专利技术具有以下优点:1)依据内容图中对象显著度和画风图中子画风显著度的一致性进行画风迁移,能够将显著的画风迁移到内容图的显著对象上,从而保证迁移风格后的内容图中的对象显著性顺序保持不变。同时,不同显著度的对象物继承单一子画风,不会因为同一对象继承不同子画风造成风格混乱;2)生成的带画风图像更加光滑、无噪声。

【技术实现步骤摘要】
一种基于显著度匹配的画风迁移方法
本专利技术属于数字图像处理、计算机视觉、艺术等交叉领域,涉及一种基于显著性匹配的画风迁移方法。
技术介绍
近年来,数字图像处理和计算机视觉领域内技术的快速发展带动了这些技术在其他领域的应用,这些应用又反向促使技术不断革新。画风迁移就是在这样的环境下产生的课题。画风迁移即给定一张艺术画的数字图像(称为画风图),将用户拍摄的照片或其他方式制作的数字图像(统称为内容图)转换成该艺术画的风格。画风迁移能够大大降低艺术创作的门槛,让普通大众能够便捷制作带艺术风格的图像。近年来,深度学习因其强大的特征学习能力、图像分析和理解能力受到广泛关注。众多研究者尝试将其引入画风迁移任务中,提出了一系列基于深度学习的画风迁移方法。例如,Johnson等人于2016年在EuropeanConferenceonComputerVision国际会议上提出了"PerceptualLossesforReal-TimeStyleTransferandSuper-Resolution",采用感知损失函数训练一个带特定画风的图像变换网络。训练后的网络可接收照片并生成具有已训练风格的内容图。Li等人于2016年在ComputerVisionandPatternRecognition国际会议上发表的CombiningMarkovRandomFieldsandConvolutionalNeuralNetworksforImageSynthesis,将卷积神经网络输出的特征图进行分块处理,计算每一特征块的Gram矩阵,寻找与画风图中最相近的特征块进行风格迁移,通过MRF约束迁移效果的平滑度。现有方法在实施画风迁移时,并没有考虑风格图和内容图之间的内部语义关联,仅仅参考了两图中底层纹理特征的匹配度,容易造成迁移风格后的内容图的子风格出现视觉混乱。例如,对于中国古画而言,画家倾向于使用墨色来突出画面中重要部分而对其他部分进行留白。现有画风迁移方法容易将留白部分迁移到内容图中的纯色区域,而不考虑该纯色区域是否位于重要的物体上。
技术实现思路
鉴于目前画风迁移方法存在局限性,本专利技术提出一种基于显著性匹配的画风迁移方法,能够将显著的子画风迁移到照片中的视觉重要部分,即达到显著度匹配的画风迁移,避免迁移风格后的照片子风格发生混乱。为了实现上述目标,本专利技术的技术方案为:构造了一种基于显著度匹配的画风迁移深度神经网络模型。该模型将内容图按照显著度划分成不同区域,分别对应画风图中的显著度不同的子风格,以此为基础将子画风迁移到对应显著度的内容区域中。内容图和风格图中显著度的量化层级数目可自由指定。本专利技术实例中以两层级显著度为例,即内容图和风格图均划分为两类,分别为前景(强显著)和背景(弱显著)内容,以及前景子画风(强显著)和背景子画风(弱显著)。一种基于显著度匹配的画风迁移方法包括以下模块和步骤:模块一、特征抽取。给定一幅输入图像,通过特征抽取模块得到特征矩阵。模块二、子画风迁移。该模块对特征矩阵表达的内容图进行处理使其具备不同的子画风,并解码生成带有不同子画风的多幅内容图。其中,子画风总数量M和子画风的显著度排序事先由用户自由指定。模块三、基于显著度的区域分解。该模块以特征矩阵表达的内容图为输入,将其依据注意力机制按照重要性程度进行内容分解,并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图,每张图中像素取值表示该像素属于当前显著层级的概率。模块四、画风图像合成模块。该模块对子画风内容图和内容区域分布图按显著度的一致性进行匹配,以区域分布图的像素值为权值,加权对应子画风图像的相应像素。所有加权后的子画风内容图加和生成最终的画风迁移图。在训练时,对由上述模块组成的整体网络模型进行分支训练,使每个分支向目标作用优化。与现有技术相比,本专利技术具有以下优点:1)依据内容图中对象显著度和画风图中子画风显著度的一致性进行语义迁移,能够将显著的画风迁移到内容图的显著对象上,从而保证迁移风格后的内容图中的对象显著性顺序保持不变。同时,不同显著度的对象物继承单一的子画风,不会因为同一对象继承不同子画风造成风格混乱;2)生成的带画风图像更加光滑、无噪声。附图说明图1为本专利技术方法的框架图;图2为本专利技术方法中基于显著度的区域分解计算子网中涉及的卷积LSTM结构图;图3为本专利技术训练时的分支训练策略:(a)、(b)、(c)、(d)分别为自编码训练分支,基于显著度的区域分解训练分支,整体画风风格化训练分支,以及子画风风格化训练分支。图4为本专利技术应用实例实验结果:(a)为画风图及其子画风划分,白色为更显著子画风。(b)为内容图,右侧小图为本专利技术方法中显著度计算模块所获得的划分结果,白色为更显著对象,即前景。(c)和(d)分别为Johnson等人的方法和本专利技术方法获得的结果。图5为本专利技术应用实例实验结果:(a)为画风图及其子画风划分,白色为更显著子画风。(b)为内容图及本专利技术方法中显著度计算模块所获得的内容图区域划分结果,白色为更显著部分。(c)和(d)分别为Johnson等人的方法和本专利技术方法获得的结果。具体实施方式下面结合附图和具体实施方式对本专利技术的各个模块,以及分支训练策略和本专利技术的使用方法做进一步说明。本专利技术的模块组成和流程如图1所示,具体包括如下模块:模块一,特征抽取。特征抽取模块与Johnson等人"PerceptualLossesforReal-TimeStyleTransferandSuper-Resolution"论文中给出的模块结构类似,由编码器和残差子网组成。编码器通过一个L层卷积神经网络实现多尺度特征提取和非线性映射计算,获取语义层次的特征表达,随后通过一个J层残差模块进行进一步特征凝练。采用残差子网能够在满足抽取语义信息的同时加快网络训练时的收敛速度。在本专利技术实例中,L=3,J=5。模块二,子画风迁移。本专利技术设计的子画风迁移模块包括两个部分,迁移子网和子画风解码器。迁移子网接收特征抽取模块所提取出来的特征,对特征进行卷积操作使其依据每个子画风进行风格化。本专利技术通过分支训练手段使得特征抽取模块和子画风解码器成为自动编码器的编码器和解码器,只发挥特征编码和特征解码作用,与画风无关。因此,只需要在迁移子网中并行M个参数不共享的卷积层分支即可以完成对M个子画风的风格迁移,与特征抽取模块和解码器无关,从而使得整体网络架构灵活度高。子画风解码器为K层的尺度调整卷积网络,接收子画风风格化后的特征,并将其解码恢复到原始图片大小,得到M张带子画风风格的内容图。为了避免传统反卷积解码(例如Johnthon等的方法)所带来的棋盘格噪声,本专利技术引入尺度调整卷积来代替传统解码器中的反卷积。本专利技术实例中,K=3。模块三,基于显著度的图像分解。基于显著度的图像分解模块由两个部分组成,包括区域分解卷积LSTM子网和分区图解码器。区域分解卷积LSTM子网基于视觉注意力机制,将特征提取模块输出的特征转换为N(显著度量化层级)个显著度层级的、与输入特征同宽高的单通道区域分布矩阵,每个矩阵上每个元素的值表示该元素属于该显著度层级的概率。基于视觉注意力机制的区域分解思想和应用在现有工作中已多有体现。现有工作多对图像区域进行尝试性分区,然后基于RNN(LSTM是RNN本文档来自技高网
...

【技术保护点】
1.一种基于显著度匹配的画风迁移方法,其特征在于,包括以下模块:模块一、特征抽取模块:给定一幅输入图像,通过特征抽取模块得到特征矩阵;模块二、子画风迁移模块:对特征矩阵表达的内容图进行处理使其具备不同的子画风,并解码生成带有不同子画风的多幅内容图;其中,子画风总数量M和子画风的显著度排序事先由用户自由指定;模块三、基于显著度的区域分解模块:该模块以特征矩阵表达的内容图为输入,将其依据注意力机制按照重要性程度进行内容分解,并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图,每张图中像素取值表示该像素属于当前显著层级的概率;模块四、画风图像合成模块:对子画风内容图和内容区域分布图按显著度的一致性进行匹配,以区域分布图的像素值为权值,加权对应子画风图像的相应像素;所有加权后的子画风内容图加和生成最终的画风迁移图。

【技术特征摘要】
1.一种基于显著度匹配的画风迁移方法,其特征在于,包括以下模块:模块一、特征抽取模块:给定一幅输入图像,通过特征抽取模块得到特征矩阵;模块二、子画风迁移模块:对特征矩阵表达的内容图进行处理使其具备不同的子画风,并解码生成带有不同子画风的多幅内容图;其中,子画风总数量M和子画风的显著度排序事先由用户自由指定;模块三、基于显著度的区域分解模块:该模块以特征矩阵表达的内容图为输入,将其依据注意力机制按照重要性程度进行内容分解,并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图,每张图中像素取值表示该像素属于当前显著层级的概率;模块四、画风图像合成模块:对子画风内容图和内容区域分布图按显著度的一致性进行匹配,以区域分布图的像素值为权值,加权对应子画风图像的相应像素;所有加权后的子画风内容图加和生成最终的画风迁移图。2.根据权利要求1所述的方法,其特征在于:特征抽取模块由编码器和残差子网组成;编码器通过一个L层卷积神经网络实现多尺度特征提取和非线性映射计算,获取语义层次的特征表达,随后通过一个J层残差模块进行进一步特征凝练;其中,L=3,J=5。3.根据权利要求1所述的方法,其特征在于:子画风迁移模块包括两个部分,迁移子网和子画风解码器;迁移子网接收特征抽取模块所提取出来的特征,对特征进行卷积操作使其依据每个子画风进行风格化;只需要在迁移子网中并行M个参数不共享的卷积层分支完成对M个子画风的风格迁移;子画风解码器为K层的尺度调整卷积网络,接收子画风风格化后的特征,并将其解码恢复到原始图片大小,得到M张带子画风风格的内容图;引入尺度调整卷积来代替传统解码器中的反卷积;其中,K=3。4.根据权利要求1所述的方法,其特征在于:模块三,基于显著度的图像分解;基于显著度的图像分解模块由两个部分组成,包括区域分解卷积LSTM子网和分区图解码器;区域分解卷积LSTM子网基于视觉注意力机制,将特征提取模块输出的特征转换为N个显著度层级的、与输入特征同宽高的单通道区域分布矩阵,每个矩阵上每个元素的值表示该元素属于该显著度层级的概率;构建的区域分解卷积LSTM网络包含N个循环的卷积LSTM结构,第i个循环得到第i个显著度层级的区域概率图,具体如下:(1)LSTM的所有全连接结构设计成卷积的形式,其中conv表示为卷积操作,其下标表示该卷积操作所使用的激活函数;(2)在LSTM特征传递过程中引入前序循环已计算结果,即每个矩阵元素在前序显著度阶层上的概率值,用Amapi,i=1,...,t-1,表示第i个循环获得的与输入特征同等尺寸的单通道区域分布矩阵;Amapi其中每个元素取值范围为[0,1],表示每个元素在第i个显著度层级上的概率;设置当前t时刻的输入为累加矩阵,即AMapsum=∑i∈SAMapi,与特征提取模块输出的特征矩阵做哈达马积操作,即Mask操作;其中,S为集合{1,...,t-1}的子集;解码器为K层的尺度调整卷积网络,分别将N个区域矩阵解码为与内容图同等尺寸的N张概率图,表示第N个显著度阶层上每个像素所属概率;解码后的概率图在画风图像合成模块中,将作为对应显著度的子画风风格后的内容图的融合权重;其中,K=3。5.根据权利要求1所述的方法,其特征在于:画风图像合成模块将N张带子画风风格的内容图融合生成一张带画风图风格的内容图;在M=N情况下,子画风图与概率权值图一一对应;在M与N不相等情况下,做线性对应,即第m张子画风图取第n张权值图,n=mN/M;M=N,或是M/N或N/M为整数;在此情况下,如多张子画风对应同一权值图,可对该权值图按照像素值均分的方式做成多张权值图;如多张权值图对应一张子画风图,可对权值图像通过像素值相加叠加成一张权值图;总之,使得每张子画风图仅对应一张权值图;用表示第m张子画风内容图该像素位置处的值,用n(m)表示该画风图对应的显著度图编号...

【专利技术属性】
技术研发人员:孙安澜马伟祝玮
申请(专利权)人:北京工业大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1