【技术实现步骤摘要】
一种基于显著度匹配的画风迁移方法
本专利技术属于数字图像处理、计算机视觉、艺术等交叉领域,涉及一种基于显著性匹配的画风迁移方法。
技术介绍
近年来,数字图像处理和计算机视觉领域内技术的快速发展带动了这些技术在其他领域的应用,这些应用又反向促使技术不断革新。画风迁移就是在这样的环境下产生的课题。画风迁移即给定一张艺术画的数字图像(称为画风图),将用户拍摄的照片或其他方式制作的数字图像(统称为内容图)转换成该艺术画的风格。画风迁移能够大大降低艺术创作的门槛,让普通大众能够便捷制作带艺术风格的图像。近年来,深度学习因其强大的特征学习能力、图像分析和理解能力受到广泛关注。众多研究者尝试将其引入画风迁移任务中,提出了一系列基于深度学习的画风迁移方法。例如,Johnson等人于2016年在EuropeanConferenceonComputerVision国际会议上提出了"PerceptualLossesforReal-TimeStyleTransferandSuper-Resolution",采用感知损失函数训练一个带特定画风的图像变换网络。训练后的网络可接收照片并生成具有已训练风格的内容图。Li等人于2016年在ComputerVisionandPatternRecognition国际会议上发表的CombiningMarkovRandomFieldsandConvolutionalNeuralNetworksforImageSynthesis,将卷积神经网络输出的特征图进行分块处理,计算每一特征块的Gram矩阵,寻找与画风图中最相近的特征块进行风格迁移,通过MRF ...
【技术保护点】
1.一种基于显著度匹配的画风迁移方法,其特征在于,包括以下模块:模块一、特征抽取模块:给定一幅输入图像,通过特征抽取模块得到特征矩阵;模块二、子画风迁移模块:对特征矩阵表达的内容图进行处理使其具备不同的子画风,并解码生成带有不同子画风的多幅内容图;其中,子画风总数量M和子画风的显著度排序事先由用户自由指定;模块三、基于显著度的区域分解模块:该模块以特征矩阵表达的内容图为输入,将其依据注意力机制按照重要性程度进行内容分解,并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图,每张图中像素取值表示该像素属于当前显著层级的概率;模块四、画风图像合成模块:对子画风内容图和内容区域分布图按显著度的一致性进行匹配,以区域分布图的像素值为权值,加权对应子画风图像的相应像素;所有加权后的子画风内容图加和生成最终的画风迁移图。
【技术特征摘要】
1.一种基于显著度匹配的画风迁移方法,其特征在于,包括以下模块:模块一、特征抽取模块:给定一幅输入图像,通过特征抽取模块得到特征矩阵;模块二、子画风迁移模块:对特征矩阵表达的内容图进行处理使其具备不同的子画风,并解码生成带有不同子画风的多幅内容图;其中,子画风总数量M和子画风的显著度排序事先由用户自由指定;模块三、基于显著度的区域分解模块:该模块以特征矩阵表达的内容图为输入,将其依据注意力机制按照重要性程度进行内容分解,并解码生成N张与内容图尺寸一致、显著度由高到低排序的区域分布图,每张图中像素取值表示该像素属于当前显著层级的概率;模块四、画风图像合成模块:对子画风内容图和内容区域分布图按显著度的一致性进行匹配,以区域分布图的像素值为权值,加权对应子画风图像的相应像素;所有加权后的子画风内容图加和生成最终的画风迁移图。2.根据权利要求1所述的方法,其特征在于:特征抽取模块由编码器和残差子网组成;编码器通过一个L层卷积神经网络实现多尺度特征提取和非线性映射计算,获取语义层次的特征表达,随后通过一个J层残差模块进行进一步特征凝练;其中,L=3,J=5。3.根据权利要求1所述的方法,其特征在于:子画风迁移模块包括两个部分,迁移子网和子画风解码器;迁移子网接收特征抽取模块所提取出来的特征,对特征进行卷积操作使其依据每个子画风进行风格化;只需要在迁移子网中并行M个参数不共享的卷积层分支完成对M个子画风的风格迁移;子画风解码器为K层的尺度调整卷积网络,接收子画风风格化后的特征,并将其解码恢复到原始图片大小,得到M张带子画风风格的内容图;引入尺度调整卷积来代替传统解码器中的反卷积;其中,K=3。4.根据权利要求1所述的方法,其特征在于:模块三,基于显著度的图像分解;基于显著度的图像分解模块由两个部分组成,包括区域分解卷积LSTM子网和分区图解码器;区域分解卷积LSTM子网基于视觉注意力机制,将特征提取模块输出的特征转换为N个显著度层级的、与输入特征同宽高的单通道区域分布矩阵,每个矩阵上每个元素的值表示该元素属于该显著度层级的概率;构建的区域分解卷积LSTM网络包含N个循环的卷积LSTM结构,第i个循环得到第i个显著度层级的区域概率图,具体如下:(1)LSTM的所有全连接结构设计成卷积的形式,其中conv表示为卷积操作,其下标表示该卷积操作所使用的激活函数;(2)在LSTM特征传递过程中引入前序循环已计算结果,即每个矩阵元素在前序显著度阶层上的概率值,用Amapi,i=1,...,t-1,表示第i个循环获得的与输入特征同等尺寸的单通道区域分布矩阵;Amapi其中每个元素取值范围为[0,1],表示每个元素在第i个显著度层级上的概率;设置当前t时刻的输入为累加矩阵,即AMapsum=∑i∈SAMapi,与特征提取模块输出的特征矩阵做哈达马积操作,即Mask操作;其中,S为集合{1,...,t-1}的子集;解码器为K层的尺度调整卷积网络,分别将N个区域矩阵解码为与内容图同等尺寸的N张概率图,表示第N个显著度阶层上每个像素所属概率;解码后的概率图在画风图像合成模块中,将作为对应显著度的子画风风格后的内容图的融合权重;其中,K=3。5.根据权利要求1所述的方法,其特征在于:画风图像合成模块将N张带子画风风格的内容图融合生成一张带画风图风格的内容图;在M=N情况下,子画风图与概率权值图一一对应;在M与N不相等情况下,做线性对应,即第m张子画风图取第n张权值图,n=mN/M;M=N,或是M/N或N/M为整数;在此情况下,如多张子画风对应同一权值图,可对该权值图按照像素值均分的方式做成多张权值图;如多张权值图对应一张子画风图,可对权值图像通过像素值相加叠加成一张权值图;总之,使得每张子画风图仅对应一张权值图;用表示第m张子画风内容图该像素位置处的值,用n(m)表示该画风图对应的显著度图编号...
【专利技术属性】
技术研发人员:孙安澜,马伟,祝玮,
申请(专利权)人:北京工业大学,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。