基于多属性人脸比对的人脸图像质量评价方法及装置制造方法及图纸

本发明专利技术提供了基于多属性人脸比对的人脸图像质量评价方法，该方法包括：分别采用角度、模糊、光照属性的人脸样本图像集，在K种人脸比对方法下，计算对应属性的质量分数映射函数和权重值；选取标记角度、模糊、光照属性的人脸样本图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络进行训练，获取属性质量评价模型；输入待处理图像，检测待处理图像中的人脸区域；采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，计算人脸区域的质量评价分数并输出。与现有的人脸图像质量评价方法相比，本发明专利技术可以提高质量评价的准确率。

【技术实现步骤摘要】
基于多属性人脸比对的人脸图像质量评价方法及装置
本专利技术涉及图像处理、视频监控以及人脸图像质量评价，特别涉及基于多属性人脸比对的人脸图像质量评价方法及装置。
技术介绍
现有的人脸图像质量评价方法主要是结合人脸图像的多种属性评价其质量，包括人脸姿态、遮挡、光照和图像模糊的属性，首先通过机器学习方法计算这些属性值，然后基于人脸的多个属性值使用基于规则的方法排除质量较差的人脸图像。做人脸图像质量评价的主要目的是提高后续人脸比对的成功率，同时减少参与比对的人脸图像。但是现有的人脸图像质量评价方法并没有考虑人脸比对的性能，它所评价的质量较好的人脸图像在进行人脸比对时准确率并不一定很高，另外一些评价规则的设计也有较强的主观性。公开号为CN107832802A的中国专利技术专利提出了一种基于人脸比对的人脸图像质量评价方法，可以提高人脸比对的准确率。然而实际场景中，人脸偏转角度、光照程度、以及图像模糊程度对人脸比对有不同的影响值，从而影响人脸图像质量的评价。为此，目前需要提出一种基于多属性人脸比对的人脸质量评价方法。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种可以有效提高人脸比对准确率，并且融合多属性影响值的人脸质量评价方法。为达到上述目的，按照本专利技术的第一个方面，提供了基于多属性人脸比对的人脸图像质量评价方法，该方法包括：第一步骤，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；第二步骤，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；第三步骤，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；第四步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。进一步地，所述第一步骤包括：属性样本图像集选取步骤，分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；属性平均质量分值计算步骤，分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；属性权重值计算步骤，根据角度、模糊、光照的平均质量分值fsimang、fsimblur、fsimbri，计算对应的质量分数影响值fλang＝1-fsimang、fλblur＝1-fsimblur、fλbri＝1-fsimbri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值进一步地，所述平均相似度最值计算法包括：属性人脸参考和探测图像获取步骤，对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；同种身份人脸比对相似度计算步骤，针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsimkij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsimk，将中间值fsimk作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；属性人脸平均相似度最值计算步骤，统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsimmin，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsimmax。进一步地，所述第二步骤包括：人脸样本选取步骤，选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；人脸探测图像属性质量分数获取步骤，对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；卷积神经网络训练步骤，将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。进一步地，所述第四步骤包括：属性质量分数获取步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fqang、模糊属性质量分数fqblur、光照属性质量分数fqbri；质量评价分数计算步骤，根据人脸区域的角度属性质量分数fqang、模糊属性质量分数fqblur、光照属性质量分数fqbri，以及角度权重值λang、模糊权重值λblur、光照权重值λbri，根据质量评价公式fq＝λang×fqang+λblur×fqblur+λbri×fqbri，计算人脸区域的质量评价分数fq；质量评价结果输出步骤，输出人脸区域和对应的质量评价分数。按照本专利技术的另一个方面，提供了基于多属性人脸比对的人脸图像质量评价装置，该装置包括：属性权重值获取模块，用于分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；属性质量评价模型获取模块，用于选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；人脸区域获取模块，用于输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；人脸质量评价分数获取模块，用于采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数本文档来自技高网...

【技术保护点】
1.基于多任务的人脸图像质量评价方法，其特征在于，该方法包括：第一步骤，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；第二步骤，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；第三步骤，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；第四步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。

【技术特征摘要】
1.基于多任务的人脸图像质量评价方法，其特征在于，该方法包括：第一步骤，分别采用角度、模糊、光照属性的人脸样本图像作为对应属性的人脸样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值，获取每种属性的平均质量分值和质量分数映射函数，根据对应属性的平均质量分值，计算角度、模糊、光照属性对应的权重值；第二步骤，选取标记角度、模糊、光照属性的人脸样本图像和人脸参考图像，获取人脸探测图像，计算人脸探测图像在K种人脸比对方法下的角度、模糊、光照属性的质量分数，采用卷积神经网络，对输入的人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型；第三步骤，输入待处理图像，采用人脸检测法，检测待处理图像中的人脸区域；第四步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数、模糊属性质量分数、光照属性质量分数，根据角度、模糊、光照属性的质量分数和权重值，计算人脸区域的质量评价分数并输出。2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：属性样本图像集选取步骤，分别选取M个身份的N个标记角度、模糊、光照属性的人脸样本图像作为角度属性样本图像集、模糊属性样本图像集、光照属性样本图像集；属性平均质量分值计算步骤，分别针对角度、模糊、光照的属性样本图像集，采用平均相似度最值计算法，计算在K种人脸比对方法下对应属性的平均相似度最小值和平均相似度最大值；将属性的平均相似度最小值作为对应属性的平均质量分值，根据属性的平均相似度最小值和平均相似度最大值，获取对应属性的质量分数映射函数；属性权重值计算步骤，根据角度、模糊、光照的平均质量分值fsimang、fsimblur、fsimbri，计算对应的质量分数影响值fλang＝1-fsimang、fλblur＝1-fsimblur、fλbri＝1-fsimbri；根据角度、模糊、光照的质量分数影响值，分别计算角度权重值模糊权重值光照权重值3.如权利要求2所述的方法，其特征在于，所述平均相似度最值计算法包括：属性人脸参考和探测图像获取步骤，对每个身份选取R1个标准人脸图像作为人脸参考图像，将属性样本图像集中人脸参考图像外的属性样本图像作为对应属性的人脸探测图像；同种身份人脸比对相似度计算步骤，针对每个身份，采用K种人脸比对方法，分别计算每个人脸探测图像与对应身份的人脸参考图像的相似度值fsimkij，0≤k≤K，0≤i≤R2，0≤j≤R1；针对每个身份，统计第k种人脸比对方法下，人脸探测图像与对应身份的人脸参考图像的相似度值的中间值fsimk，将中间值fsimk作为对应身份的第k种人脸比对方法的相似度值；针对每个身份，统计K种人脸比对方法的相似度值的平均值fsim，将平均值fsim作为对应身份的人脸比对相似度值；其中，所述k表示第k种人脸比对方法，K表示采用的人脸比对方法的数量；所述i和j分别表示对应身份下第i个人脸探测图像和第j个人脸参考图像，R1和R2分别表示对应身份下人脸探测图像和人脸参考图像的数量；属性人脸平均相似度最值计算步骤，统计所有身份的人脸比对相似度值，将所有身份的人脸比对相似度值的最小值作为平均相似度最小值fsimmin，将所有身份的人脸比对相似度值的最大值作为平均相似度最大值fsimmax。4.如权利要求2所述的方法，其特征在于，所述角度属性的人脸样本图像为标记不同人脸偏转角度，并且清晰、光照正常、无遮挡、无饰物、无表情的人脸图像；所述模糊属性的人脸样本图像为标记不同人脸图像模糊度，并且正面姿态、光照正常、无遮挡、无饰物、无表情的人脸图像；所述光照属性的人脸样本图像为标记不同人脸图像光照度，并且正面姿态、清晰、无遮挡、无饰物、无表情的人脸图像。5.如权利要求2所述的方法，其特征在于，所述属性平均质量分值计算步骤中属性的质量分数映射函数获取步骤为：设定属性的平均相似度最小值fsimmin对应质量分数0，设定属性的平均相似度最大值fsimmax对应质量分数1，则属性的质量分数映射函数为其中fsimi为对应属性的当前人脸探测图像与人脸参考图像的人脸比对相似度值。6.如权利要求3所述的方法，其特征在于，所述标准人脸图像为正面姿态、光照正常、清晰，且无遮挡、无饰物、无表情的人脸图像。7.如权利要求1所述的方法，其特征在于，所述第二步骤包括：人脸样本选取步骤，选取M个身份的N个标记角度、模糊、光照属性的人脸图像作为人脸样本图像；针对每个身份，从人脸样本图像中选取一张标准人脸图像作为人脸参考图像，将人脸参考图像以外的人脸样本图像作为人脸探测图像；人脸探测图像属性质量分数获取步骤，对于每个人脸探测图像，采用K种人脸比对方法，分别计算人脸探测图像与对应身份的人脸参考图像的相似度值，计算K种人脸比对方法的相似度值的平均值，根据相似度的平均值和属性质量分数映射函数，分别计算人脸探测图像的角度、模糊、光照属性的质量分数；卷积神经网络训练步骤，将人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数输入到卷积神经网络中，采用卷积神经网络对人脸探测图像、角度属性质量分数、模糊属性质量分数、光照属性质量分数进行反复训练，获取训练好的属性质量评价模型。8.如权利要求1所述的方法，其特征在于，所述第四步骤包括：属性质量分数获取步骤，采用属性质量评价模型，对人脸区域进行打分，获取人脸区域的角度属性质量分数fqang、模糊属性质量分数fqblur、光照属性质量分数fqbri；质量评价分数计算步骤，根据人脸区域的角度属性质量分数fqang、模糊属性质量分数fqblur、光照属性质量分数fqbri，...

【专利技术属性】
技术研发人员：苏静静，李娇，李志国，李党，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京,11