基于高级特征的人脸修复方法技术

本发明专利技术公开了一种基于高级特征的人脸修复方法，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果是，提取所述破损人脸图像的高级特征；获取参考数据集；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。通过本发明专利技术，提高了破损人脸图像的修复效果。

【技术实现步骤摘要】
基于高级特征的人脸修复方法
本专利技术属于图像处理
，更具体地，涉及一种基于高级特征的人脸修复方法。
技术介绍
图像修补是数字图像处理研究的重要部分，其目的是根据未破损部分的信息修补已经破坏或损失的部分。图像修补主要分为两大类图像修复和图像补全，图像修复主要是针对图中的噪音或者是除噪音之外的其他痕迹对图像造成的损坏进行图像的修复，主要的工作体现在纠正虚假或损坏数据或者移除不需要的对象，图像补全主要是针对图像的缺失内容进行补全。图像修补主要分为内容和纹理的修补，根据破损周围的图像学习到破损区域的纹理信息，然后根据训练人脸数据集生成的模型联想出损坏或缺失部分的内容信息，充分结合纹理信息和内容信息使修复后的图像更加逼真或者达到原图的视觉效果。图像修补可以很好的应用到图像编辑和修复破损照片区域，传统的图像修补方法一般是采用对称原则来实现修补的，例如当一张人脸图像的右眼区域破损时可以参考左眼来修复右眼，当一张人脸图像的左半嘴角破损时可以参考右半嘴角来修复，但是当图像大面积缺失时现有的方法不能得到较好的修补效果。因此，修复大面积缺失的图像(主要的研究对象是人脸图像)仍是一个具有挑战性的研究课题。
技术实现思路
有鉴于此，本专利技术提供了一种基于高级特征的人脸修复方法，以提高破损人脸图像的修复效果。一种基于高级特征的人脸修复方法，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。优选地，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；所述对称算法为：v＝R(u)；其中，所述v为损坏像素点，R为映射规则，u为映射参考点。优选地，所述高级特征包括：肤色、表情和年龄。优选地，所述表情包括以下任意一种或多种：生气、厌恶、恐惧、开心、悲伤、惊讶和正常。优选地，所述高级特征还包括：性别。优选地，提取所述破损人脸图像的高级特征的步骤具体包括：对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。优选地，根据所述参考数据集中的人脸图像模拟得到模拟人脸图像的步骤包括：构建一种生成式对抗网络；以所述参考数据集中的人脸图像作为训练样本，对所述生成式对抗网络进行训练，以优化所述生成式对抗网络中生成器和鉴别器的参数，直至训练好所述生成器为止；通过已训练好的生成器生成所述模拟人脸图像。优选地，根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据的步骤包括：根据所述初始修复数据使用最优编码公式中的纹理损失函数提取所述破损人脸图像中未破损区域的纹理信息；使用最优编码公式中的内容损失函数提取所述参考人脸图像的的内容信息，结合所述未破损区域的纹理信息、所述内容信息以及初始修复数据得到最优编码，通过所述最优编码得到修复数据；所述最优编码公式为：为最优编码，z为所述模拟人脸图像的图像值，L(z)为包括所述纹理损失函数与所述内容损失函数的总损失函数；；所述内容损失函数：其中，代表参考人脸图像，代表初始修复数据，Rl代表参考人脸图像在第l层的特征代表，Fl代表初始修复数据在第l层的特征代表。R、其中为向量，Nl×Ml为向量的维度，Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；所述纹理损失函数：其中，代表破损人脸图像，代表生成的图片，L代表破损人脸图像的层数，wij代表[i，j]像素处的权重，Bl代表破损人脸图像在第l层特征矩阵的GramMatrix(格雷姆矩阵)，Gl代表初始修复数据在第l层特征矩阵的GramMatrix，其中Nl代表第l层的特征矩阵的数量，Ml代表第l层的特征矩阵的高x宽；本专利技术实施例中，GramMatrix可以获取当前l层中不同特征矩阵的特征相关性。优选地，所述总损失函数L(z)还包括：生成损失函数Lg(z)；所述生成损失函数其中，G为生成器，V(D,G)为生成式对抗网络，D(G(z))代表鉴别器判断生成器生成图片为真实的概率，pz(z)'：代表模拟人脸图像。优选地，所述生成式对抗网络为深度卷积生成对抗网络。优选地，所述参考数据集包括：索引号以及高级特征的标签。与现有技术相比，本专利技术提供的基于高级特征的人脸修复方法，至少实现了如下的有益效果：1)将破损人脸图像输出为对称图像矩阵，方便检测破损区域的是否有相对称的未破损区域。2)在与破损区域相对称的区域无破损时，通过对称算法对进行修复，从而保障了破损人脸图像的快速修复。3)从参考数据集中获取参考人脸图像，以完成对初始修复数据的优化，从而保障了优化的效果。4)在修复过程中，充分结合纹理信息与内容信息使修复后的图像更加逼真或者达到原图的视觉效果。当然，实施本专利技术的任一产品必不特定需要同时达到以上所述的所有技术效果。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是本专利技术实施例基于高级特征的人脸修复方法的一种流程图；图2是本专利技术实施例基于高级特征的人脸修复方法得到的人脸修复效果图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。如图1所示是本专利技术实施例基于高级特征的人脸修复方法，具体地包括以下步骤：步骤100：开始。步骤101：获取破损人脸图像。步骤102：将所述破损人脸图像输出为两个呈轴对称的图像矩阵。需要说明的是，将破损人脸图像输出两个呈轴对称的图像矩阵，可以根据人脸的特征将人脸对称中心线作为本文档来自技高网...

【技术保护点】
1.一种基于高级特征的人脸修复方法，其特征在于，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。

【技术特征摘要】
1.一种基于高级特征的人脸修复方法，其特征在于，包括：获取破损人脸图像；将所述破损人脸图像输出为两个呈轴对称的图像矩阵；在每个所述图像矩阵中确定破损区域；检测与所述破损区域相对称的区域是否破损；如果检测到与所述破损区域相对称的区域破损，提取所述破损人脸图像的高级特征，其中，所述高级特征为人脸图像所对应的人的特征；获取参考数据集，其中，所述参考数据集包括多个人脸图像的数据，每个所述人脸图像的数据包括人脸图像和所述高级特征；从所述参考数据集中获取与所述破损人脸图像的高级特征相同的人脸图像，作为参考人脸图像；根据所述参考数据集中的人脸图像模拟得到模拟人脸图像；在所述模拟人脸图像中提取所述破损区域对应的数据，得到初始修复数据；根据所述参考人脸图像以及所述破损人脸图像对所述初始修复数据进行优化，得到修复数据；采用所述修复数据对所述破损人脸图像进行修复，生成修复完成的人脸图像。2.根据权利要求1所述的基于高级特征的人脸修复方法，其特征在于，如果检测到与所述破损区域相对称的区域未破损，则通过对称算法对所述破损人脸图像进行修复；所述对称算法为：v＝R(u)；其中，所述v为损坏像素点，R为映射规则，u为映射参考点。3.根据权利要求1或2所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征包括：肤色、表情和年龄。4.根据权利要求3所述的基于高级特征的人脸修复方法，其特征在于，所述表情包括以下任意一种或多种：生气、厌恶、恐惧、开心、悲伤、惊讶和正常。5.根据权利要求4所述的基于高级特征的人脸修复方法，其特征在于，所述高级特征还包括：性别。6.根据权利要求5所述的基于高级特征的人脸修复方法，其特征在于，提取所述破损人脸图像的高级特征的步骤具体包括：对所述破损人脸图像的RGB进行均值偏移聚类计算，丢弃所述破损人脸图像中因强光或照明引起的异常值，进行K-Means聚类算法计算，计算得到的簇群中心值为肤色；分别训练单独的线性SVM分类器，以分别对年龄、性别以及表情进行提取，得到所述破损人脸图像的高级特征。7.根据权利要求6所述的基于高级特征的人脸修复方法，其特征在于，根据所述参考数据集中的人脸图像模拟...

【专利技术属性】
技术研发人员：刘瑞军，李善玺，师于茜，王向上，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京,11