一种基于美学评价的带参考人眼图像修复方法技术

本发明专利技术属于数字图像智能处理技术领域，具体为一种基于美学评价的带参考人眼图像修复方法。图像修复是指利用算法来替换已丢失或者损坏的图像数据。人眼图像修复主要用于拍照中的闭眼、斜眼等情况，以产生真实、自然、美观的新人眼。本发明专利技术方法包括：从待修复图像中标记出眼睛的位置；基于人眼美学评价和人脸结构相似性选择参考图；对参考图片提取眼部位置；将输入图像、参考图像和对应的眼部标记共同载入生成器，通过深度网络生成修复的人脸图像。在网络的训练中引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务。实验结果表明，本发明专利技术可以生成自然美观且与原面部相符的人眼，有效解决人眼修复问题。

【技术实现步骤摘要】
一种基于美学评价的带参考人眼图像修复方法
本专利技术属于数字图像智能处理
，具体涉及一种图像修复方法，更具体的说，涉及一种基于美学评价的带参考人眼图像修复方法。
技术介绍
近年来，图像修复问题在应用深度学习技术的条件下已经实现了较好的修复效果，修复出的图像在视觉上与真实图像相差无几。因此，深度学习技术成为图像修复问题上的一个研究热点。人脸修复问题作为图像修复问题的一个分支，是一种常见的人脸图像编辑技术。生成对抗性网络(Generativeadversarialnetworks，GANs)[1]是一种特殊类型的深度网络，它包含了一个可学习的对抗性损失函数。GAN网络已被成功地用于从零开始生成人脸，或用于补全面部缺失区域。网络生成的人脸图像既可以与原始人脸图像一样精确，也可以与未遮挡人脸图像在内容上保持一致，以使生成的图像看起来具有真实的视觉感受。如何修改对抗生成网络以使其更好的适应图像修复问题来构造更有效的生成模型已经得到了越来越多的关注。目前已有的网络模型，可以生成视觉上真实的人脸，但是在一些脸部细节的生成上还有待改进。S.Iizuka等人提出使用全局和局部两个判别器代替原始的判别器[2]，并且使用空洞卷积代替普通的卷积，使得网络拥有更大的感受野，生成更加细致的局部信息。人眼图像修复是人脸修复问题中的一个分支，主要用于拍照中的闭眼、斜眼等情况，以产生真实、自然、美观的新人眼。ExGAN是一种有条件的GAN网络[3]，利用参考信息产生高质量、个性化的人眼修复效果。与以往的GAN网络相比，带有参考信息的GAN网络可以生成更加符合人物身份的新人眼，但是随机选择参考图的方式让网络的性能并不稳定。相比之下，选择合适的参考图选择指标，可以让GAN网络的学习更具目标性。此外，在生成真实图像的基础上，人眼图像修复问题也注重人眼细节和人眼美观的表现。现有技术生成的人眼由于GAN网络的一些缺陷，会存在语义上一致但是视觉上不美观的问题，脸部细节也比较模糊，并且在带有遮挡和侧面的人脸图像上效果不佳。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种产生真实、自然、美观的新人眼图像的基于美学评价的带参考人眼图像修复方法。本专利技术提供的基于美学评价的带参考人眼图像修复方法，主要针对拍照中出现的闭眼、眨眼、斜眼等眼部不美观的情况，构造深度神经网络作为人眼图像生成器，同时引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务，使得生成器可以产生真实、自然、美观的新人眼图像。本专利技术提供的基于美学评价的带参考人眼图像修复方法，具体步骤如下：(1)从输入的待修复图像中标记出眼睛的位置通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(xleft,yleft)和(xright,yright)；构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1。椭圆形mask的长轴a＝wleft/right，短轴b＝hleft/right，其中wleft/right和hleft/right分别为左眼或右眼的宽度和高度。若所给图像的人眼未能标注出准确的宽度和高度，则取a＝25,b＝15。(2)基于人眼美学评价和人脸结构相似性选择参考图在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R。人眼美学评价指标分为高质量与低质量两种，评价网络是基于人眼属性评测的深度网络，网络包括3个卷积模块、9个残差块和一个全连接层。每一个卷积模块包含1个卷积层、1个归一化层、1个relu激活层和1个最大池化层，卷积层的特征图在池化层的作用下分辨率逐渐减小。网络的最终输出为人眼评价的预测结果。在CAS-PEAL人脸数据集[4]的基础上，提出一个新的人眼数据集，共1040张人眼图片。通过属性评分划分成高质量和低质量两类，各约500张，主要评测属性为人眼大小、是否双眼皮、眼间距和眼睛长度的关系、外眦是否高于内眦四项。训练时数据集平均划分成5份，进行交叉验证。其中，人眼美学评价网络所使用的损失函数为SoftmaxCross-EntropyLoss，计算方式如下：其中，Pi为样本被标记为i的概率，计算公式为：这里，K为2，即样本将被分为高质量和低质量两类。选择与待修复图像X具有最高结构相似性的图片的指标为SSIM(structuralsimilarityindex，即结构相似性)，将待修复图像和待选参考图的人眼位置用椭圆形mask遮挡后比较眼部周围的结构相似程度。给定两个图像X和Y,两张图像的SSIM可按照以下方式求出：其中，μX和μY分别是X和Y的均值，和分别是X和Y的方差，σXY是X和Y的协方差，L是像素值的动态范围，c1＝(k1L)2、c2＝(k2L)2是用来维持稳定的常数(通常取：k1＝0.01,k2＝0.03)。这样做的原因是：随机选择参考图的方法仅仅可以给生成网络提供眼部基本信息参考，但是没有考虑到眼睛的美观度和适配度。采用人眼美学评价和人脸结构相似性指标评测过的参考图可以给生成网络提供更优质的眼部特征，使得网络可以习得生成美观人眼的方法。与随机选择参考的方法相比，多参考选择后的网络可以生成更加美观的人眼，并且与脸部的结合更自然。(3)对参考图片提取感知特征和眼部位置用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵Mr。(4)生成修复的人脸图像将输入图像、参考图像和对应的眼部标记共同载入生成器网络，通过深度网络生成修复的人脸图像。其中，生成器网络由编码器、转换器和译码器组成。编码器利用卷积神经网络从输入图像中提取特征，将图像压缩成256个64×64的特征向量。转换器使用6层ResNet模块，每个ResNet模块是由两个卷积层构成的神经网络层，能达到在转换特征时保留原始图像特征的目标。解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最终得到生成图像。(5)通过优化损失函数更新生成器、判别器的参数在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务。判别器作为二值分类器用来区分真实图像和假图像。判别器为一种卷积神经网络，从图像中提取特征，再通过添加一个产生一维输出的卷积层来确定提取的特征是否属于特定类别。全局判别器用于确保整个图像的真实性，而局部判别器用于生成修复局部的细节。将全局和局部两个判别器的输出连接成一个2048维的向量，通过一个全连接层然后用sigmoid函数得到整体图像一致性的分数。这样做的原因是：仅仅通过训练生成器来填充修复区域会生成边缘模糊、内容粗糙的新人眼，而引入判别器可以提高生成图片的质量，使经过训练的判别器可以判别生成图像的真假，强制生成器学习更真实的人眼细节。首先为缺失区域引入一个局部判别器，帮助网络生成边界更清晰的修复区域的细节。但是局部损失不能规范人脸的全局结构，因此为整个图像引入一个全局判别器。其基本思想是，新生成的内容不仅要切合实际，而且要与周围的语境保持一致。通过输入图像与修复图像之间的重构损失计算生成器参数的梯度，通过真实图像和生成图像计算全局判别器参数的梯度，通过真实图像和生成图像的眼部计算局部判别器参数的梯度，通过梯度回传更新网络的参本文档来自技高网...

【技术保护点】
1.一种基于美学评价的带参考人眼图像修复方法，其特征在于，具体步骤如下：(1)从输入的待修复图像中标记出眼睛的位置通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(xleft,yleft)和(xright,yright)；构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1；(2)基于人眼美学评价和人脸结构相似性选择参考图在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R；(3)对参考图片提取感知特征和眼部位置用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵Mr；(4)生成修复的人脸图像将输入图像、参考图像和对应的眼部标记共同载入生成器网络，通过深度生成器网络生成修复的人脸图像；其中，生成器网络由编码器、转换器和译码器组成；编码器利用卷积神经网络从输入图像中提取特征，将图像压缩成256个64×64的特征向量；转换器使用6层ResNet模块，每个ResNet模块是由两个卷积层构成的神经网络层，用于在转换特征时保留原始图像特征；解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最终得到生成图像；(5)通过优化损失函数更新生成器、判别器的参数在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务；判别器作为二值分类器用来区分真实图像和假图像；判别器为一种卷积神经网络，从图像中提取特征，再通过添加一个产生一维输出的卷积层来确定提取的特征是否属于特定类别；全局判别器用于确保整个图像的真实性，而局部判别器用于生成修复局部的细节；将全局和局部两个判别器的输出连接成一个2048维的向量，通过一个全连接层然后用sigmoid函数得到整体图像一致性的分数；通过输入图像与修复图像之间的重构损失计算生成器参数的梯度，通过真实图像和生成图像计算全局判别器参数的梯度，通过真实图像和生成图像的眼部计算局部判别器参数的梯度，通过梯度回传更新网络的参数；人脸语义解析网络是一个预先训练好的模型，在训练时参数是固定的，通过真实图像和生成图像的人脸语义分割标签计算解析损失，促进新旧像素之间的语义一致性，使得新生成的照片更真实；在测试时，网络只使用生成器。...

【技术特征摘要】
1.一种基于美学评价的带参考人眼图像修复方法，其特征在于，具体步骤如下：(1)从输入的待修复图像中标记出眼睛的位置通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(xleft,yleft)和(xright,yright)；构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1；(2)基于人眼美学评价和人脸结构相似性选择参考图在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R；(3)对参考图片提取感知特征和眼部位置用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵Mr；(4)生成修复的人脸图像将输入图像、参考图像和对应的眼部标记共同载入生成器网络，通过深度生成器网络生成修复的人脸图像；其中，生成器网络由编码器、转换器和译码器组成；编码器利用卷积神经网络从输入图像中提取特征，将图像压缩成256个64×64的特征向量；转换器使用6层ResNet模块，每个ResNet模块是由两个卷积层构成的神经网络层，用于在转换特征时保留原始图像特征；解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最终得到生成图像；(5)通过优化损失函数更新生成器、判别器的参数在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务；判别器作为二值分类器用来区分真实图像和假图像；判别器为一种卷积神经网络，从图像中提取特征，再通过添加一个产生一维输出的卷积层来确定提取的特征是否属于特定类别；全局判别器用于确保整个图像的真实性，而局部判别器用于生成修复局部的细节；将全局和局部两个判别器的输出连接成一个2048维的向量，通过一个全连接层然后用sigmoid函数得到整体图像一致性的分数；通过输入图像与修复图像之间的重构损失计算生成器参数的梯度，通过真实图像和生成图像计算全局判别器参数的梯度，通过真实图像和生成图像的眼部计算局部判别器参数的梯度，通过梯度回传更新网络的参数；人脸语义解析网络是一个预先训练好的模型，在训练时参数是固定的，通过真实图像和生成图像的人脸语义分割标签计算解析损失，促进新旧像素之间的语义一致性，使得新生成的照片更真实；在测试时，网络只使用生成器。2.根据权利要求1所述的基于美学评价的带参考人眼图像修复方法，其特征在于，步骤(2)中，人眼美学评价指标分为高质量与低质量两种，评价网络是基于人眼属性评测的深度网络，网络包括3个卷积模块、9个残差块和一个全连接层；每一个卷积模块包含1个卷积层、1个归一化层、1个relu激活层和1个最大池化层，卷积层的特征图在池化层的作用下分辨率逐渐减小；网络...

【专利技术属性】
技术研发人员：颜波，林青，巴合提亚尔·巴热，谭伟敏，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31