基于参考图像的图像眼睛自动打开方法及装置制造方法及图纸

一种基于参考图像的图像眼睛自动打开方法及装置，通过深度网络学习如何利用参考图像作为语义信息，进而输出具有真实感的结果。包括：1)收集包含参考图像的面部图像数据集；所述深度网络不仅基于训练集中的单一数据生成图像，而且还借助相关面部图像的其他参考图像指导生成器网络生成图像；2)将输入图像中的眼睛区域擦除，联合参考图像输入至生成器网络，对图像进行补全；计算补全后的图像与真实图像之间的内容/重构损失，优化生成器网络；同时将补全后的图像以及参考图像分别输入至感知损失计算网络，用感知损失对生成器网络的参数进行更新；最后用补全后的图像、参考图像计算鉴别器参数的梯度优化判别器网络；3)待损失下降到一定程度时，在测试数据集上对网络进行测试；通过评价指标选取最优的生成模型。

【技术实现步骤摘要】
基于参考图像的图像眼睛自动打开方法及装置
本专利技术涉及计算机视觉、图像处理领域，特别涉及一种基于参考图像的图像眼睛自动打开方法及装置。
技术介绍
随着模式识别、机器学习技术的发展和计算机运算能力的飞速提升，人们对图像的修饰和美化要求日益提高，追求更加完美自然的图像，尤其是脸部的照片美化效果。然而在日常生活中，拍照时眨眼经常会影响图像的效果。且眨眼造成的闭眼或者半闭眼的情形很难在后期的图像处理中进行调整。现有的修图工具诸如AdobePhotoshop等，即使是专业人员使用这些工具也很难做到让图像中的眼睛自然睁开，普通使用者面对闭眼照片几乎是无计可施，尽管所述图像的其他诸如构图、色彩、场景等方面都非常完美，也会因为闭眼而被弃用或删除。由于拍照时，被拍者经常会出现眨眼状况，或者，有时受环境、光线等限制导致被拍者不能正常睁大眼睛，影响被拍者的表情，不能拍出令人满意的照片。如果能够提供一种自动打开图像中眼睛的方法，使得普通使用者也能拍出完美的睁开眼睛的图像，而不受环境、光线等因素的限制，将是非常有意义的。而要在照片中打开闭眼，如果仅仅是在相似的姿势和灯光条件照出受试者的新照片，并用图像块匹配本文档来自技高网...

【技术保护点】
1.一种基于参考图像的图像眼睛自动打开方法，其特征在于，包括如下步骤：1)收集包含参考图像的面部图像数据集；深度网络不仅基于训练集中的单一数据生成图像，而且还借助相关面部图像的另一张参考图像指导生成器网络生成图像；2)将输入图像中的眼睛区域擦除，联合参考图像输入至生成器网络，对图像进行补全；计算补全后的图像与真实图像之间的内容/重构损失，通过反向传播算法计算生成器网络参数的梯度，优化生成器网络；同时将补全后的图像以及参考图像分别输入至感知损失计算网络，用感知损失对生成器网络的参数进行更新；最后用补全后的图像、参考图像计算鉴别器参数的梯度优化判别器网络，并通过生成器网络反向传播鉴别器的误差；3)...

【技术特征摘要】
1.一种基于参考图像的图像眼睛自动打开方法，其特征在于，包括如下步骤：1)收集包含参考图像的面部图像数据集；深度网络不仅基于训练集中的单一数据生成图像，而且还借助相关面部图像的另一张参考图像指导生成器网络生成图像；2)将输入图像中的眼睛区域擦除，联合参考图像输入至生成器网络，对图像进行补全；计算补全后的图像与真实图像之间的内容/重构损失，通过反向传播算法计算生成器网络参数的梯度，优化生成器网络；同时将补全后的图像以及参考图像分别输入至感知损失计算网络，用感知损失对生成器网络的参数进行更新；最后用补全后的图像、参考图像计算鉴别器参数的梯度优化判别器网络，并通过生成器网络反向传播鉴别器的误差；3)待损失下降到一定程度时，在所述测试数据集上，对网络进行测试，选取最优的所述生成模型。2.根据权利要求1所述的基于参考图像的图像眼睛自动打开方法，其特征在于，当进行面部补全时，参考图像是同一人在不同时间和不同姿势下拍摄的头像；所述面部图像为人的面部图像即人脸图像，所述眼睛为人眼。3.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，采用输入图像以及参考图像作为额外的条件变量，指导生成器网络进行有条件约束的图像生成，生成判别损失公式如下：其中，LcGAN(G，D)为生成判别损失，G表示生成器网络，D表示判别器网络，x为输入图像，z为参考图像，pdata(x)，pz(z)分别代表输入图像x的分布和参考图像z的分布，即x服从pdata(x)分布，z服从pz(z)分布；G()表示生成即补全眼睛后的图像，D()表示判别真伪的结果；minGmaxD表示生成器网络损失最小，而判别器网络鉴别赝品即生成图像的能力最大；E表示分布函数，log为对数函数；生成器网络的目标是将生成对抗损失最小化，判别器网络的目标是将其最大化。4.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，采用生成图像和真实图像间的L1损失计算作为内容损失，用LL1表示，计算公式如下：其中pdata(x)，pz(z)和pdata(y)分别代表输入图像x的分布，参考图像z的分布，以及目标图像y的分布，pdata(x，y)代表输入图像x和目标图像y的分布，即x、y服从pdata(x，y)分布，z服从pz(z)分布；y为目标图像；G()表示生成即补全眼睛后的图像；||||1表示1范数。5.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，采用训练好的VGG-16网络计算感知损失，每次训练中随机选取三层从补全图像和参考图像抽取出来的特征矩阵，计算每个特征矩阵之间的L1距离，且累加三组特征的损失作为感知损失；感知损失计算公式如下所示：Lperceptual表示感知损失；其中pdata(x)，pz(z)分别代表输入图像x的分布，参考图像z的分布，即x服从pdata(x)分布，z服从pz(z)分布；G()表示生成即补全眼睛后的图像；||||1表示1范数，φi()表示感知网络第i层上的特征表示。6.一种...

【专利技术属性】
技术研发人员：舒剑军，
申请(专利权)人：浙江英索人工智能科技有限公司，
类型：发明
国别省市：浙江,33