基于深度学习的多功能图像风格迁移方法技术

本发明专利技术公开了基于深度学习的多功能图像风格迁移方法包括图像的语义分割；图像的小波特征提取；图像风格迁移的损失函数的表示。图像的特征提取和损失函数的表示。本发明专利技术的有益效果一个算法具有艺术风格与逼真风格迁移的图像编辑效果，从而实现质量更高且更加丰富多彩的图像风格迁移效果。彩的图像风格迁移效果。彩的图像风格迁移效果。

【技术实现步骤摘要】
基于深度学习的多功能图像风格迁移方法


[0001]本专利技术属于计算机图像处理
，涉及基于深度学习的多功能图像风格迁移方法。

技术介绍

[0002]现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格(如果颜色等)迁移到输入图像的技术。图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像。现有图像风格迁移技术，多是对图像进行艺术风格迁移，或是逼真风格迁移，而不能同时实现艺术和逼真的风格迁移。如此限制了其应用范围。因此现有图像风格迁移方法不能满足用户对输入图像进行任意风格迁移的要求。

技术实现思路

[0003]本专利技术的目的在于提供艺术风格及逼真风格的多功能图像风格编辑方法，本专利技术的有益效果是根据用户需求，通过修改参数即可实现艺术与逼真风格的图像编辑。本专利技术基于深度学习的图像风格迁移系统，在进行逼真风格迁移前采用特征提取模块来去除输入图像原风格对最后风格迁移结果的影响，从而实现质量更高且更加丰富多彩的图像风格迁移效果。
[0004]本专利技术所采用的技术方案是包括以下步骤：
[0005]步骤1，将图像进行语义分割；
[0006]步骤2，对图像进行小波特征提取，如图2所示；
[0007]步骤3，设计损失函数，基于深度神经网络对步骤2的图像进行风格迁移编辑；
[0008]步骤1具体如下：图像的语义分割方法如下：采用DeepLab语义分割算法进行图像的语义分割。识别150个基础分类，采用合并简化的分类结果即合并了相似的分类，如，湖泊、江河、海洋和水流归为一类等，由此生成一组精简的分类，以产生更清晰，更简单的分割，最终生成更稳定的输出。
[0009]步骤2具体如下：
[0010]图像的小波分解过程如下
[0011][0012]n和m分别为行下标和列下标；{h
k
}
k∈Z
满足小波尺度公式，h，g是标准滤波器，是h的共轭，c是低频系数，k是小波分解尺度。
[0013]图像小波系数处理如下
[0014][0015]称序列为c
k+1
的一级二维小波变换，对于1000*1000像素的图像，小波变换尺度为8，当像素更大或更小时，小波变换尺度相应地调大或调小。将小波变换的高频部分(High frequency map,HFM)作为图像特征的初步提取结果，如图2所示。
[0016]设小波分解后的系数用w表示，低频系数用c表示，高频系数用d表示，对于输入图像的初步特征提取结果为：
[0017]w
HFM
＝d
[0018]对于部分图像的小波特征提取结果HFM可能会有部分特征丢失，可进行特征修复。即，将原始输入图像作为输入，HFM作为参考风格图像，以及它们的语义分割进行风格迁移，可得到更完整特征的FHFM。
[0019]进一步，基于深度神经网络的图像风格迁移算法如下：
[0020]一般基于深度神经网络的图像风格迁移的损失函数主要由内容损失函数L
C
、风格损失函数L
S
和输入正则化λL
p
三部分组成：
[0021]L＝L
C
+L
S
+λL
p
[0022]本专利技术提出的损失函数：L＝L'
C
+L
HFM
+L
S
+λL
p
[0023]即增加了基于图像特征提取的损失函数：L
HFM
[0024]特征提取损失函数作用为去掉输入图像content的原始风格而最大程度保留其纹理特征，从而使风格迁移图像具有更多参考风格并保留其细节纹理。当使用图像特征提取模块，输入图像为真实图像，且参考图像为艺术图像时，风格迁移结果为逼真风格的图像；当忽略图像特征提取模块时，输入图像为真实图像，且参考图像为艺术图像时，风格迁移结果为艺术风格的图像。结果如图3所示。
[0025]具体的，损失函数是系统的总损失函数L为：
[0026]L＝L'
C
+L
HFM
+L
S
+λL
p
[0027]其中
[0028][0029][0030][0031][0032]其中N为总的卷积层数，是深度神经网络第l个卷积层的内容损失函数，
是深度神经网络第l个卷积层的风格损失函数，L
p
是对输入进行逼真化处理表达式，B
C
是控制内容损失的权值，B
HFM
是控制风格损失的权值，B
S
是控制风格损失的权值，a
l
,c
l
和b
l
是配置层选项的权值，λ是控制逼真正则化的权值；
[0033]内容损失函数如下：
[0034][0035]P
l,c
[O]＝P
l,c
[O]H
l,c
[I][0036]P
l,c
[I]＝P
l,c
[I]H
l,c
[I][0037]其中P
l,c
[
·
]是第l层c通道的特征矩阵，M
l,c
[
·
]是与P
l,c
[
·
]对应的Gram矩阵，H
l,c
[
·
]是第l层的语义分割区域的通道c，W
C
是语义分割的第c
th
通道的权值，N
l,c
表示第l层第c
th
通道的滤波器总数；
[0038]特征提取损失函数如下：
[0039][0040]P
l,c
[O]＝P
l,c
[O]H
l,c
[HFM][0041]P
l,c
[HFM]＝P
l,c
[HFM]H
l,c
[HFM][0042]其中HFM是指输入图像的特征提取结果,W
C_HFM
是特征提取的语义分割的第c
th
通道的权值。
[0043]风格损失函数如下：
[0044][0045]P
l,c
[O]＝P
l,c
[O]H
l,c
[S][0046]P
l,c
[S]＝P
l,c
[S]H
l,c
[S][0047]其中S是指参考风格图像。
[0048]本专利技术的优点在于：现有图像风格算法仅具有艺术风格迁移或者逼真风格迁移的一种功能，而本专利技术提出的算法先对图像进行小波变化，再增加特征提取模块，使得编辑后的图像同时拥有艺术风格迁移以及逼真风格迁移的功能，且在实现风格迁移的同时能更多保持输入图像原有的纹理信息。从而该方法能输出更加丰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多功能图像风格迁移方法，其特征在于，主要包括以下步骤：步骤1，将图像进行语义分割；步骤2，对语义分割后的图像进行小波特征提取，并将小波变换的高频部分(High frequency map,HFM)作为图像特征的初步提取结果，对部分图像的小波特征提取结果出现部分特征丢失的，进行特征修复；步骤3，设计损失函数，基于深度神经网络对步骤2的图像进行风格迁移编辑；其中，损失函数包括内容损失函数、基于图像特征提取的损失函数、风格损失函数和输入正则化。2.根据权利要求1所述的基于深度学习的多功能图像风格迁移方法，其特征在于：所述基于图像特征提取的损失函数P
l,c
[O]＝P
l,c
[O]H
l,c
[HFM]P
l,c
[HFM]＝P
l,c
[HFM]H
l,c
[HFM]其中，若N为总的卷积层数，l表示第l个卷积层，HFM是指输入图像的特征提取结果,中P
l,c
[
·
]是第l层c通道的特征矩阵，M
l,c
[
·
]是与P
l,c
[
·
]对应的Gram矩阵，H
l,c
[HFM]是特征提取图第l层的语义分割区域的通道c，W
C_HFM
是特征提取的语义分割的第c
th
通道的权值。3.根据权利要求1所述的基于深度学习的多功能图...

【专利技术属性】
技术研发人员：肖春霞，丁红，
申请(专利权)人：武汉大学，
类型：发明
国别省市：