一种基于对偶学习的图像风格转移算法制造技术

一种基于对偶学习的图像风格转移算法，首先向预训练好的转换网络VGG19中分别输入内容图片C和风格图片S，并随机初始化一张图片Z；再在原任务中，分别计算C和Z的内容损失、S和Z的风格损失、对得到的初始转换后的图片Z进行降噪、在对偶任务中，计算复原图像C'和Z的内容损失、C'和新的风格图像S'的风格损失，对复原图像C’进行降噪、计算目标函数和梯度，最后用adam优化算法对目标函数进行优化，之后输出风格化图像Z和复原图像C'。本发明专利技术可以对带有任何内容的图片与任何风格的图片进行融合，再在对偶学习的基础上对融合了的新图片进行还原，风格转移效果优于现有技术。

【技术实现步骤摘要】
一种基于对偶学习的图像风格转移算法
本专利技术属于图形
，具体涉及一种基于对偶学习的图像风格转移算法。
技术介绍
现在的图像风格转移能够将一张图片的风格转移到另一张图片上，大多是在卷积神经网络(CNN)上实现的，CNN在图像分类，人脸识别，目标探测等方面已经取得很大的成功，现在，已经有很多研究者使用CNN进行图像的生成，还有图像的着色。Gatys在2016年发表的那篇图像风格转移就是在已经训练好的CNNs网络——VGG_19上实现的，他在选定好的CNNs层级上，定义两个损失，一个是内容损失，另一个是风格损失，利用优化算法来最小化这两个损失，从而使最后得到的图片既有内容又有风格。但是，Gatys的这种方法并不能保证每次最后得到的融合了内容和风格的图片效果是我们想要的，可能得到的图片的风格会掩盖了内容，使内容不明显，甚至是扭曲了原图像中的内容。Gatys之后，李沐等人在2016年提出了一个从优化的角度，建立一个优化模型来进行特定人脸属性转移的同时保留了输入图片里面人物的身份，随后又提出了一个改进的方案来进行人脸局部属性的转移，他们的工作其实就是进行人脸局部的风格转移，比如戴眼镜、去掉眼镜、嘴巴张开、嘴巴闭着等等，但这些方法都需要很高的计算量，也很难获得高质量的风格转移图片。
技术实现思路
本专利技术的目的是提供一种基于对偶学习的图像风格转移算法，可以对带有任何内容的图片与任何风格的图片进行融合，再在对偶学习的基础上对融合了的新图片进行还原，风格转移效果优于现有技术。本专利技术采取的技术方案是：一种基于对偶学习的图像风格转移算法，包括以下步骤：步骤一：向预训练好的转换网络VGG19中分别输入内容图片C和风格图片S，并随机初始化一张图片Z；步骤二：利用公式(1)计算原任务中C和Z的内容损失其中，Lpc(C,Z,l)为第l层的内容损失，为风格化图像Z在第l层第i个卷积核中位置j上的特征,为内容图像C在第l层第i个卷积核中位置j上的特征；步骤三：利用公式(3)计算原任务中S和Z风格损失其中，Lps(S,Z,l)为第l层的风格损失，为风格图像S在l层中第i个卷积核与第j个卷积核的内积，为风格化图像Z在l层中第i个卷积核与第j个卷积核的内积，Cl,Hl和Wl分别表示第l层的通道数,高度和宽度；步骤四：利用公式(5)计算原任务中的正则项，即对得到的初始转换后的图片Z进行降噪步骤五：利用公式(6)计算对偶任务中C'和Z的内容损失，其中，C'为复原图像，即在对偶任务中，原始图像C作为新的风格图像S'，根据此风格，从风格化图像Z中复原出原图像的一个近似C'，其中，为复原图像C’在第l层第i个卷积核中位置j上的特征，为风格化图像Z(在对偶任务中被称为内容图像)在第l层第i个卷积核中位置j上的特征；步骤六：利用公式(7)计算对偶任务中C'和S'的风格损失其中，为风格图像S’在l层中第i个卷积核与第j个卷积核的内积，为复原图像C’在l层中第i个卷积核与第j个卷积核的内积，wl为风格权重系数，用以控制各卷积层的分布，Cl，Hl和Wl分别表示第l层的通道数、高度和宽度；步骤七：利用公式(8)计算对偶任务中的正则项，即对复原图像C’进行降噪步骤八：利用公式(9)计算闭环损失其中，为原始内容图像C在l层中第i个卷积核与第j个卷积核的内积，为复原图像C’在l层中第i个卷积核与第j个卷积核的内积，wl、Cl、Hl和Wl含义同前；步骤九：利用公式(10)计算目标函数和梯度，并对图片Z和C'进行更新，目标函数被定义为：f(Z，C′)＝αLpc(C，Z)+βlps(S，Z)+γLTV(Z)+δLdc(Z，C′)+εLds(S′，C′)+θLTV(C′)+μLcl(C，C′)(10)其中α，β，γ，δ，ε，θ，μ为先验的权重参数；步骤十：用adam优化算法对公式(10)进行优化，之后输出风格化图像Z和复原图像C'。本专利技术的有益效果：本专利技术提出了一个对偶学习机制来进行图像的风格转移，不同于其它图像风格迁移算法，对偶学习框架是一个无监督的学习框架，仅需要一个源图像和风格图像对，避免了先前监督方法需要收集每个源图像与对应风格化图像的困难，而且源图像和风格图像之间不需要配准，而先前许多风格迁移方法需要源图像和风格图像之间的配准；本专利技术的对偶学习采用优化技术从一个噪声图像出发寻找在目标函数最小意义下的风格化图像Z，所以，对偶学习框架随机地生成两个噪声图像，分别作为初始的风格化图像Z和复原图像C’，同时一对任务(即主任务和对偶任务)将重复若干次；可以采用多种方式设置迭代结束条件，例如一个最大迭代次数T或者前后两次目标函数值差的绝对值小于某个预先给定的阈值。本专利技术最大的特点就是只要两个风格转移任务能够形成一个闭环，就可以利用中间产生的反馈信息来调节参数，从而使得到的风格转移图像效果更好。附图说明图1是本专利技术方法的风格转换实验结果；图2是与Gatys方法结果对比图。具体实施方式实施例在实施例中，给出了本对偶学习的算法，如表1所示，表1图像风格转移对偶学习算法该算法中，原始的内容图像C和风格图像S分别仅输入VGG19转换网络一次，并抽取其卷积层特征用于相应损失函数的计算，在每次对偶学习任务迭代时，由于风格化图像Z和复原图像C’的不断更新，它们将分别输入到转换网络VGG19中，重新提取其卷积层特征，为了寻找最优的风格化图像Z和复原图像C’，采用了梯度下降类的算法，如ADAM算法。整个过程为：1)在原任务中，向预训练好的转换网络VGG19中分别输入内容图片C和风格图片S，将两者融合并随机初始化一张图片Z，该图片具有图片c的内容和图片s的风格；要完成这个操作，需利用VGG19的卷积层来定义相应的损失。2)利用公式(1)计算原任务中C和Z的内容损失，该原理基于有相似内容的两张图片，它们应该有相似的CNN特征；3)利用公式(3)计算原任务中S和Z风格损失。从数学上怎么定义风格呢？CNN中的每个卷积核可以看作是图片的一种特征提取，风格在本文中被简化为任意两种特征的相关性。相关性的描述使用余弦相似性，而余弦相似性又正比于两种特征的点积，所以，风格的数学定义在这里被表示为深度神经网络层里的卷积核i和卷积核j的点积,形式地,记为一个图像X在l层中第i个卷积核与第j个卷积核的内积,即其中表示图像X在第l层第i个卷积核中位置k上的特征。记为风格图像S在l层中第i个卷积核与第j个卷积核的内积，而为风格化图像Z在l层中第i个卷积核与第j个卷积核的内积。于是，在第l层的风格损失定义为公式(4)，再在公式(4)的基础上得到公式(3)，进而得到风格图像S与风格化图像Z之间的风格损失；4)为了让产生的图片Z在拥有内容和风格的小细节的同时，能够更平滑，让图片z看起来更自然，我们将使用总变分(TV)正则项，即利用公式(5)计算原任务中的正则项，对得到的初始转换后的图片Z进行降噪；5)利用公式(6)计算对偶任务中C'和Z的内容损失，其中，C'为复原图像，即在对偶任务中，原始图像C作为新的风格图像S'，根据此风格，从风格化图像Z中复原出原图像的一个近似C'，6)利用公式(7)计算对偶任务中C'和S'的风格损失，7)利用公式(8)计算对偶任务中的正则项，即对复原图像C’进行降噪，8)利用公式(9)计算闭环损本文档来自技高网...

【技术保护点】
1.一种基于对偶学习的图像风格转移算法，其特征在于，包括以下步骤：步骤一：向预训练好的转换网络VGG19中分别输入内容图片C和风格图片S，并随机初始化生成一张图片Z；步骤二：利用公式(1)计算原任务中C和Z的内容损失

【技术特征摘要】
1.一种基于对偶学习的图像风格转移算法，其特征在于，包括以下步骤：步骤一：向预训练好的转换网络VGG19中分别输入内容图片C和风格图片S，并随机初始化生成一张图片Z；步骤二：利用公式(1)计算原任务中C和Z的内容损失其中，Lpc(C，Z，l)为第l层的内容损失，为风格化图像Z在第l层第i个卷积核中位置j上的特征，为内容图像C在第l层第i个卷积核中位置j上的特征；步骤三：利用公式(3)计算原任务中S和Z风格损失其中，Lps(S，Z，l)为第l层的风格损失，为风格图像S在l层中第i个卷积核与第j个卷积核的内积，为风格化图像Z在l层中第i个卷积核与第j个卷积核的内积，Cl，Hl和Wl分别表示第l层的通道数、高度和宽度；步骤四：利用公式(5)计算原任务中的正则项，即对得到的初始转换后的图片Z进行降噪，步骤五：利用公式(6)计算对偶任务中C′和Z的内容损失，其中，C′为复原图像，即在对偶任务中，原始图像C作为新的风格图像S′，根据此风格，从风格化图像Z中复原出原图像的一个近似C′，其中，为复原图像C′在第l层第i个卷积核中位置j上的特征，为风格化图像Z(在对偶任务...

【专利技术属性】
技术研发人员：彭宏，陈茹，张国洲，王军，
申请(专利权)人：西华大学，
类型：发明
国别省市：四川,51