基于局部贡献方差的人脸质量判断方法技术

本发明专利技术公开了一种基于局部贡献方差的人脸质量判断方法，包括步骤：对对齐后的人脸进行掩码操作、对掩码操作后的人脸图片提取人脸特征、将掩码操作后的人脸特征和原始人脸图片的特征进行相似度计算、对一系列相似度进行变化统计得到该人脸图像的质量。本发明专利技术提出的基于局部贡献方差的人脸质量判断方法，可以快速判断出该人脸图片是否适合进行人脸识别，能有效的剔除实际部署的人脸识别系统中捕捉到的模糊、遮挡等质量差的照片，提升人脸识别系统的性能，同时降低人脸识别系统的计算量。本发明专利技术通过在实际场景中进行大量测试，表明本方法相较于目前现有技术，具有既准确又耗时少的优点，十分有利于部署于资源有限的嵌入式终端。十分有利于部署于资源有限的嵌入式终端。十分有利于部署于资源有限的嵌入式终端。

【技术实现步骤摘要】
基于局部贡献方差的人脸质量判断方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于局部贡献方差的人脸质量判断方法。

技术介绍

[0002]人脸识别技术作为计算机视觉的一个热门的研究方向，在神经网络的蓬勃发展下已经取得了许多骄人的成果，并且广泛应用在我们的日常生活中。但是除了主动配合式的人脸识别系统外，还存在大量的被动式的人脸识别系统，其采集的人脸数据存在大量的污染，对目前的人脸识别模型是一个很严峻的挑战。因此发展人脸质量判断，挑选出不适合人脸识别的人脸图片非常重要，本专利技术基于此提出了基于局部贡献方差的人脸质量判断方法。
[0003]在以往的人脸质量判断方法中，早期的方法需要对人脸数据集标注质量分数，这不仅需要消耗大量的人力，同时人类的主观标识与实际运行的识别器的受影响程度未必一致，因此这种方法存在着诸多弊端。而近期发展的方法中，一些方法使用模型的不确定性作为人脸图像质量判断的衡量，缺乏不稳定性；一些方法使用同类之间的相似度分布以及异类之间的相似度分布来衡量人脸质量，这种方法得到的质量分数与所选择的数据集高度相关，不具有泛用性。

技术实现思路

[0004]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种基于局部贡献方差的人脸质量判断方法，摆脱了人工标注的依赖，同时可以很轻松的部署到任意的人脸识别系统中，达到提升人脸识别系统性能的目的。
[0005]为实现上述目的，本专利技术提供了一种基于局部贡献方差的人脸质量判断方法，包括以下步骤：
[0006]步骤1、人脸检测和人脸关键点检测；
[0007]步骤2、人脸对齐；
[0008]步骤3、对对齐后的人脸进行掩码操作，得到一系列带掩码的图像；
[0009]步骤4、通过人脸识别网络将所述带掩码的图像映射为人脸特征；
[0010]步骤5、通过计算原图和掩码图片的特征相似度得到一系列局部贡献；
[0011]步骤6、计算局部贡献的方差，得到人脸图像质量；
[0012]步骤7、使用轻量级神经网络进行拟合，得到人脸质量分数预测器。
[0013]进一步的，所述对对齐后的人脸进行掩码操作，得到一系列带掩码的图像，具体为：对对齐后的人脸图片进行掩码操作，从上到下，每k行进行依次进行，对齐后的人脸图片分辨率通常为112*112，得到(112/k)+1张图片
[0014]进一步的，所述通过人脸识别网络将所述带掩码的图像映射为人脸特征，具体为：对得到的对齐后的人脸图片送入人脸识别网络中，得到原始人脸图片的人脸特征F0，对得
到的(112/k)+1张人脸图片送入人脸识别网络中，得到(112/k)+1个人脸特征F
i
，其中i∈[1,(112/K)+1]。
[0015]进一步的，所述计算局部贡献的方差，得到人脸图像质量，具体为：将得到的F0和F
i
依次计算余弦相似度，得到(112/k)+1个相似度，计算这些相似度的方差，得到人脸质量分数。
[0016]进一步的，所述轻量级神经网络采用MobileFaceNet作为主干网络。
[0017]本专利技术的有益效果是：
[0018]本专利技术提出的基于局部贡献方差的人脸质量判断方法是一种无监督的方法，对比以往的方法节省了大量的人工标注数据的损耗。同时提出的新的人脸质量分数计算方式具有较好的泛用性，可以应用在目前的大多数人脸识别神经网络中，可以简单高效的部署在现有的人脸识别系统中，达到快速提升识别系统性能的目的。同时本专利技术可以部署在嵌入式设备等计算资源紧缺的设备上，通过该专利技术提出的方法可以对人脸数据集进行质量分数伪标签的计算，而后使用轻量级网络进行拟合，之后使用该轻量级网络可以进行人脸质量分数的预测，进一步达到快速部署、提升人脸识别系统性能的目的。
[0019]以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
附图说明
[0020]图1为本专利技术的基于局部贡献方差的人脸质量判断方法的流程示意图。
[0021]图2为本专利技术的基于局部贡献方差的人脸质量判断方法模型图。
具体实施方式
[0022]如图1所示，本专利技术提供了一种基于局部贡献方差的人脸质量判断方法，包括以下步骤：
[0023]步骤1、人脸检测和人脸关键点检测；
[0024]步骤2、人脸对齐；
[0025]步骤3、对对齐后的人脸进行掩码操作，得到一系列带掩码的图像；
[0026]步骤4、通过人脸识别网络将所述带掩码的图像映射为人脸特征；
[0027]步骤5、通过计算原图和掩码图片的特征相似度得到一系列局部贡献；
[0028]步骤6、计算局部贡献的方差，得到人脸图像质量；
[0029]步骤7、使用轻量级神经网络进行拟合，得到人脸质量分数预测器。
[0030]该方法通过对图像计算局部贡献的方差来实现该人脸图片是否适合进行人脸识别。对于传统的人脸质量判断方法，需要人工对人脸数据集进行标注质量分数，而后使用神经网络等进行数据的拟合，需要消耗大量的人力。同时，人工数据标注往往带有主观意识，不能很好的进行判断该图片是否适合进行人脸识别，无法确定什么因素是对于神经网络提取人脸特征是有利的，因此标注的数据往往也不太准确，造成了传统方法的低效和不准确性。为了提升人脸质量判断方法的有效性和高效性，基于局部贡献方差的人脸质量判断方法采用了无监督的方式进行，不依赖人工标注数据，方法的流程如下：
[0031](1)对照片进行人脸检测和人脸关键点检测，得到照片中人脸和人脸特征点的位
置。
[0032](2)根据(1)的检测结果对照片进行人脸对齐，得到对齐后的人脸图片。
[0033](3)对(2)得到的对齐后的人脸图片进行掩码操作，从上到下，每k行进行依次进行，对齐后的人脸图片分辨率通常为112*112，因此得到了(112/k)+1张图片。
[0034](4)对(2)得到的对齐后的人脸图片送入人脸识别网络中，得到原始人脸图片的人脸特征F_0。
[0035](5)对(3)得到的(112/k)+1张人脸图片送入人脸识别网络中，得到(112/k)+1个人脸特征F_i，其中i∈[1,(112/k)+1]。
[0036](6)将(4)得到的F_0和(5)得到的F_i依次计算余弦相似度，得到(112/k)+1个相似度，计算这些相似度的方差，得到人脸质量分数。
[0037]本方法通过对对齐后的人脸图像进行掩码操作后提取人脸特征，和对齐后的人脸图像得到的人脸特征进行相似度计算，用于表示掩码部分蕴含人脸身份信息的多少，通过分析图片不同区域的人脸信息的多少来表征该人脸图像是否适合人脸识别。该方法中k为超参数，可以进行调整，k越大，则需要运行更多次数神经网络，时间复杂度越大，k越小，运行神经网络的次数越少，时间复杂度越小。同时，可以使用该方法对大型人脸数据集进行质量分数标注，而后使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部贡献方差的人脸质量判断方法，其特征在于，包括以下步骤：步骤1、人脸检测和人脸关键点检测；步骤2、人脸对齐；步骤3、对对齐后的人脸进行掩码操作，得到一系列带掩码的图像；步骤4、通过人脸识别网络将所述带掩码的图像映射为人脸特征；步骤5、通过计算原图和掩码图片的特征相似度得到一系列局部贡献；步骤6、计算局部贡献的方差，得到人脸图像质量；步骤7、使用轻量级神经网络进行拟合，得到人脸质量分数预测器。2.如权利要求1所述的一种基于局部贡献方差的人脸质量判断方法，其特征在于，所述对对齐后的人脸进行掩码操作，得到一系列带掩码的图像，具体为：对对齐后的人脸图片进行掩码操作，从上到下，每k行进行依次进行，对齐后的人脸图片分辨率通常为112*112，得到(112/k)+1张图片。3.如权利要求1所述的一种基于局部贡献方差的人脸质...

【专利技术属性】
技术研发人员：练启业，谢晓华，郑慧诚，张永，
申请(专利权)人：中山大学，
类型：发明
国别省市：