基于均值标准差的图像迁移方法技术

本发明专利技术公开了一种基于均值标准差的图像迁移方法，该方法构造了特征空间来存储不同滤波器的特征信息，在不同网络层实现不同的归一化统计量，从而更好地获得多尺度和稳定的特征，不需要对真实数据进行训练，可灵活进行风格转移。根据CNN理论分析，在此基础对高层网络重构的特征信息进建提取，去除FC层和soft

【技术实现步骤摘要】
基于均值标准差的图像迁移方法


[0001]本专利技术属于数字图像处理、人工智能和神经网络交叉领域，主题内容是一种基于均值标准差算法的图像风格迁移方法，是风格转移的扭曲效果小，迁移运行效率高的方法。

技术介绍

[0002]图像风格迁移是提取风格图像独有的风格特征，将此特征迁移到内容图像中，使得二者的特征图结合起来。在风格迁移的过程中，生成的特征图要忠实表现原风格图像的艺术特征，也要渲染出内容图像和风格图像的结合生成的纹理特征。风格迁移的目标是经过多次的参数调整，使得中间图像在内容上与内容图像一致，在风格上与风格图像一致。
[0003]图像风格迁移与图像的纹理特征联系紧密，两者相辅相成。在深度学习未兴起之前，图像的纹理特征都是通过分析某一风格的图像，用局部特征建立的统计模型，通过改变需要迁移图像使其更好地符合所建立的模型。Kolliopoulos运用局部的形态来描述笔画的所在位置，在图像不同语义的区域产生不同的特征。基于局部特征建立的模型提取艺术的特征的可适用性差，具有一定的局限性，整体的特征捕获能力差。在深度学习成为研究热点时，GatysLA等人提取出基于卷积神经网络的特征空间，引出了新的自然纹理生成模型，使得模型样本信息表达准确，感知质量高，证明了卷积神经网络对特征表述的有效性。随后，GatysLA研究发现提取网络的不同层次的信息生成的表达效果不同，采用多层特征融合的方法可以使得风格表达更加丰富。在计算损失应该同时考虑内容和风格损失，要有参数系数来控制权重，在度量图像的纹理特征时，引入了Gram矩阵使得特征图内积和所在位置没有依附关系。Li等人对Gram矩阵度量风格迁移提出了质疑，通过理论证明了Gram矩阵的匹配等于最大平均偏差最小化(MMD)具有二阶多项式核。

技术实现思路

[0004]本文基于卷积神经网络对风格转移技术进行研究，通过对风格图像和内容图像在图像特征空间中实现了特征提取，改进了基于Grammatrix的图像风格转移算法，替换CNN中多层特征信息的相关性作为风格特征，在高层网络中进行求取均值和标准差实现归一化，提高风格特征的运算效率，同时对生成的特征图与内容图像进行PSNR和SSIM进行图像质量对比，同时对比改进算法的损失函数值趋势来减少图像特征的扭曲和伪影。
[0005]主要技术方案包括：风格提取网络，设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息。不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征；风格迁移训练，进行训练VGG
‑
19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同。
[0006]在VGG
‑
19网络训练过程中，通过反向传播对权值进行更新，该权重是变化的，损失函数值与权值相关，输入图像的像素并没有改变。在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。计算目标损失通过优化损失函数调整噪声图像x使得生成的内容特征集与原特征集合
接近，生成的风格特征集与原图像风格特征集合接近；总的损失函数定义为内容损失函数和风格损失函数的加权和，通过优化最佳损失来获得生成风格图像。
[0007]实验仿真表明,该方法能够很好地提高风格特征的运算效率，减少图像特征的扭曲和伪影。
附图说明
[0008]下面是该方法主要的附图。
[0009]图1是本专利技术方法的流程图。
[0010]图2是原始内容图像。
[0011]图3是原始内容分别对应的原始风格图。
[0012]图4是G
‑
NST算法生成的迁移图。
[0013]图5是基于均值标准差算法生成的迁移图。
[0014]图6是G
‑
NST算法随着迭代次数的损失图。
[0015]图7是均值标准差算法随着迭代次数的损失图。
具体实施方式
[0016]下面结合附图和具体实施方式对本专利技术做进一步说明。
[0017]本专利技术的流程图如图1所示，基于均值标准差算法的图像风格迁移方法，该方法具体包括以下流程：
[0018]步骤一：风格提取网络
[0019]设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息。
[0020]不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征。在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。
[0021]其中，l表示第l个网络层，表示内容图片p在第l个网络层中第i个特征图上位置j处的特征值，表示生成图片x在第1个网络层中第i个特征图上位置j处的特征值。
[0022][0023]在计算图像的风格特征时，用第l层中第i个和第j个特征图的内积来表示。生成的图像特征为
[0024][0025]同理，可以计算得到风格图像的风格特征A。计算第l层的风格损失为
[0026][0027]Grammatrix并没有包括位置信息且计算每一种特征之间的相关性，而且计算复杂
度高；而均值和方差包含不同领域的特征
[0028][0029]和表示图像a和x在第l层的特征图，和分别为图像a和x在第l层的第i个特征通道的均值(公式2.5)和标准差
[0030][0031][0032]总的损失函数定义为内容损失函数和风格损失函数的加权和
[0033]L
total
＝αL
c
(c，e)+βL
s
(s，e)
[0034]总损失依赖于内容损失和风格损失，参数α和β会影响损失函数的计算，当α比重较大时，其内容风格特征呈现的较为明显，反之其风格特征更加突出，进而影响训练过程
[0035]步骤二：风格迁移训练
[0036]1)进行训练VGG
‑
19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同。
[0037]2)在VGG
‑
19网络训练过程中，通过反向传播对权值进行更新，该权重是变化的，损失函数值与权值相关，输入图像的像素并没有改变。
[0038]3)在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。
[0039]4)计算目标损失通过优化损失函数调整噪声图像x使得生成的内容特征集与原特征集合接近，生成的风格特征集与原图像风格特征集合接近。
[0040]步骤三：通过优化最佳损失来获得生成风格图像
[0041]1)为了寻找最大激活响应对应特征图，需要不断进行迭代梯度，使得高层网络特征进行匹配能够将图片内容和艺术纹理更好地融合，而不会过于保留具体的像素信息。
[0042]2)总损失依赖于内容损失和风格损失，参数α和β会影响损失函数的计算，当α比重较大时，其内容风格本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于均值标准差的图像迁移方法，其特征在于：通过对风格图像和内容图像在图像特征空间中实现了特征提取，改进了基于Gram matrix的图像风格转移算法，替换CNN中多层特征信息的相关性作为风格特征，在高层网络中进行求取均值和标准差实现归一化，提高风格特征的运算效率，同时对生成的特征图与内容图像进行PSNR和SSIM进行图像质量对比，同时对比改进算法的损失函数值趋势来减少图像特征的扭曲和伪影。2.根据权利要求1所述的一种基于均值标准差的图像迁移方法，其特征在于：该方法具体包括以下流程：步骤一：风格提取网络设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息；不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征；在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容；该方法特点在于提取图像的风格，而不仅仅是通过对风格图像的像素观察，而是将预先训练好的模型提取的特征与风格图像的内容相结合；步骤二：风格迁移训练1)进行训练VGG
‑
19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同；2)在VGG
‑
19网络训练过程中，通过反向...

【专利技术属性】
技术研发人员：叶汉民，李志波，蒲立力，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：