一种基于深度学习的实时人脸关键点质量评估方法技术

本发明专利技术公开一种基于深度学习的实时人脸关键点质量评估方法，包括以下步骤：修改基于卷积神经网络的人脸关键点检测模型结构；在模型训练中设计损失函数；在模型训练中设置置信度损失函数的截止使用阈值；最后，带有权重的人脸关键点损失函数与置信度损失函数之和即为总的损失函数；在模型推理阶段评估人脸关键点质量。本发明专利技术利用一个模型完成了人脸关键点定位和人脸关键点质量的评估工作，以较低的算力实现了对人脸关键点质量的评估，更具备实时性，具有重要的工程意义。具有重要的工程意义。具有重要的工程意义。

【技术实现步骤摘要】
一种基于深度学习的实时人脸关键点质量评估方法


[0001]本专利技术涉及人脸识别与检测
，具体地，是一种基于深度学习的实时人脸关键点质量评估方法。

技术介绍

[0002]目前，人脸关键点检测仍是人脸识别与检测
的一项关键技术，它是以人脸检测模型检测到的人脸区域作为输入，然后将输入通过人脸关键点检测模型，得到人脸图像上一定数目的关键点。这些人脸关键点的质量对后续人脸识别中的活体检测和人脸比对环节的精度起着决定性作用，可直接影响人脸识别在手机(电脑)端、闸机、门禁、考勤机、人脸支付等场景应用中的效果，质量较差的人脸关键点将直接导致人脸识别失败。除了人脸识别之外，人脸关键点检测也越来越多地被应用于头部姿态估计、三维重建技术、交通安全中的疲劳驾驶识别(如睁闭眼和打哈欠)、美颜相机(如美颜和AI换脸)等领域。这些领域相关功能的准确性直接由人脸关键点质量所决定。
[0003]质量较差的人脸关键点其人脸图像通常有模糊、遮挡、侧脸、人脸框不准确以及错误的人脸图像这些特征，如图1所示(从左到右，分别为“错误人脸”图、“模糊”图、“遮挡”图、“侧脸”图、“人脸框不准”图)。
[0004]为了降低上述特征的人脸关键点对整体功能的影响，目前比较常用的人脸关键点评估技术有：1)在人脸检测和人脸关键点检测之间增加一个人脸图像质量评估模块，使用人脸图像质量评估模型对人脸检测模型输出的人脸图像进行质量评估，保证输入人脸关键点检测模型的人脸图像质量较高。2)在人脸关键点检测之后增加一个人脸关键点质量评估模块，使用人脸关键点质量评估模型对待评估的人脸关键点图像进行人脸关键点质量评估，保证输入下一模块如人脸识别的人脸图像质量较高和人脸关键点较为准确。现有的人脸关键点质量评估方法在人脸关键点检测模型的基础上增加了一个图像质量评估模型，性能消耗同步增加，严重影响算法的实时性能。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提出一种基于深度学习的人实时脸关键点质量评估方法，在几乎不增加算力的同时评估人脸关键点的质量，保证流入下一模块如人脸识别模块的数据质量较高，从而使相关功能的准确性更高，如提升人脸识别的成功率。
[0006]本专利技术可通过以下技术方案予以实现：
[0007]一种基于深度学习的实时人脸关键点质量评估方法，包括以下步骤：
[0008]1)修改基于卷积神经网络的人脸关键点检测模型结构，用来输出人脸关键点及其置信度；
[0009]2)在模型训练中设计损失函数，人脸关键点对应的损失函数采用基于几何约束的平滑的L1损失函数，置信度损失函数采用L2损失函数，用来计算预测置信度即网络输出置信度与真实置信度之间的均方误差，真实置信度由真实人脸关键点与预测人脸关键点获
得；最后，带有权重的人脸关键点损失函数与置信度损失函数之和即为总的损失函数；
[0010]3)在模型训练中设置置信度损失函数的截止使用阈值，用来减少置信度相关的正负样本不平衡；
[0011]4)在模型推理阶段利用预测的置信度评估人脸关键点质量。
[0012]进一步地，所述步骤1)具体为：将原本输出为1
×
136的人脸关键点全连接层更改为输出为1
×
(136+1)的人脸关键点和置信度全连接层,其中，1
×
136表示人脸68个关键点，1
×
(136+1)表示在人脸68个关键点基础上增加一个人脸关键点置信度，人脸关键点置信度用来评估当前人脸关键点的质量，即，每张人脸图像经过改进后的基于卷积神经网络的人脸关键点检测及其置信度评估模型同时得到人脸68个关键点和1个评估人脸关键点质量的置信度。
[0013]可选地，所述步骤1)具体为：在原本输出为1
×
136的人脸关键点检测网络中添加新的全连接层分支，用来输出人脸关键点的置信度，新的全连接层分支设置为1
×
1或者1
×
68维特征向量，1
×
1表示对人脸关键点输出一个总的置信度，1
×
68表示对人脸68个关键点中的每个点分别输出置信度。
[0014]进一步地，所述步骤2)具体为：总损失函数包括人脸关键点损失函数和置信度损失函数，设计如式(1)：
[0015]Loss_total＝w1×
Loss_lms+w2×
Loss_conf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0016]式(1)中，w1,w2分别为损失函数Loss_lms和Loss_conf的权重，设置w1＝1,w2＝0.5；
[0017]式(1)中，Loss_lms为68个人脸关键点的损失函数，是基于几何约束的平滑的L1损失函数，由式(2)求得：
[0018][0019]式(2)中，N为当前批次样本数，Loss_lms
i
为第i个样本人脸关键点损失，由式(3)求得；
[0020][0021]式(3)中，M为人脸关键点值的数量(M＝136)，为第i个样本人脸关键点的第j个值的损失，由式(4)和式(5)求得；
[0022][0023]式(4)和式(5)中，w为每个样本的加权参数，其可根据属于C类的样本的比例进行调整，C类分为正面脸、侧面脸、抬头、低头、表情、模糊和遮挡等属性类，此处简单设置w＝10；w_esp为计算每个样本损失的固定权重，设置w_esp＝2；
[0024]式(4)和式(5)中，error
ij
为第i个样本人脸关键点的第j个预测值和真实值的绝对
误差，当绝对误差在[0，w]之间，使用绝对误差的对数计算损失，在(w，∞)时等价绝对误差，error
ij
由式(6)求得；
[0025][0026]式(6)中，为预测的第i个样本人脸关键点的第j个值，为真实的第i个样本人脸关键点的第j个值；
[0027]式(2)中，euler_angle_w
i
为几何约束权重,由式(7)求得；
[0028][0029]式(7)中，K表示欧拉角(pitch，yaw，roll)中的索引，表示第i个样本真实值与预测的偏航角、俯仰角和滚动角之间的偏差角，显然，随着偏差角的增加，惩罚的程度也会增加，由式(8)求得；
[0030][0031]式(8)中，为预测的第i个样本欧拉角中的第k个角度，由训练过程中附加的欧拉角网络获取，不参与测试阶段；
[0032]式(8)中，为真实的第i个样本欧拉角中的第k个角度，真实欧拉角利用OpenCV中的solvePnP函数解出旋转向量，然后将旋转向量转换为欧拉角；
[0033]式(1)中，Loss_conf为评估人脸关键点质量的置信度损失函数，采用L2损失函数，即均方差损失函数，如式(9)：
[0034][0035]式(9)中，N为一批次样本数，x
i
为第i个样本人脸关键点的预测置信度，即网络输出的置信度，y<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的实时人脸关键点质量评估方法，其特征在于，包括以下步骤：1)修改基于卷积神经网络的人脸关键点检测模型结构，用来输出人脸关键点及其置信度；2)在模型训练中设计损失函数，人脸关键点对应的损失函数采用基于几何约束的平滑的L1损失函数，置信度损失函数采用L2损失函数，用来计算预测置信度即网络输出置信度与真实置信度之间的均方误差，真实置信度由真实人脸关键点与预测人脸关键点获得；最后，带有权重的人脸关键点损失函数与置信度损失函数之和即为总损失函数；3)在模型训练中设置置信度损失函数的截止使用阈值，用来减少置信度相关的正负样本不平衡；4)在模型推理阶段利用预测的置信度评估人脸关键点质量。2.根据权利要求1所述的基于深度学习的实时人脸关键点质量评估方法，其特征在于，所述步骤1)具体为：将原本输出为1
×
136的人脸关键点全连接层更改为输出为1
×
(136+1)的人脸关键点和置信度全连接层,其中，1
×
136表示人脸68个关键点，1
×
(136+1)表示在人脸68个关键点基础上增加一个人脸关键点置信度，人脸关键点置信度用来评估当前人脸关键点的质量，即，每张人脸图像经过改进后的基于卷积神经网络的人脸关键点检测及其置信度评估模型同时得到人脸68个关键点和1个评估人脸关键点质量的置信度。3.根据权利要求1所述的基于深度学习的实时人脸关键点质量评估方法，其特征在于，所述步骤1)具体为：在原本输出为1
×
136的人脸关键点检测网络中添加新的全连接层分支，用来输出人脸关键点的置信度，新的全连接层分支设置为1
×
1或者1
×
68维特征向量，1
×
1表示对人脸关键点输出一个总的置信度，1
×
68表示对人脸68个关键点中的每个点分别输出置信度。4.根据权利要求1所述的基于深度学习的实时人脸关键点质量评估方法，其特征在于，所述步骤2)具体为：总损失函数包括人脸关键点损失函数和置信度损失函数，设计如式(1)：Loss_total＝w1×
Loss_lms+w2×
Loss_conf
ꢀꢀꢀꢀ
(1)式(1)中，w1,w2分别为损失函数Loss_lms和Loss_conf的权重，设置w1＝1,w2＝0.5；式(1)中，Loss_lms为68个人脸关键点的损失函数，是基于几何约束的平滑的L1损失函数，由式(2)求得：式(2)中，N为当前批次样本数，Loss_lms
i
为第i个样本人脸关键点损失，由式(3)求得；式(3)中，M为人脸关键点值的数量(M＝136)，为第i个样本人脸关键点的第j个值的损失，由式(4)和式(5)求得；
式(4)和式(5)中，w为每个样本的加权参数，其可根据属于C类的样本的比例进行调整，C类分为正面脸、侧面脸、抬头、低头、表情、模糊和遮挡属性类，此处简单设置w＝10；w_sep为计算每个样本损失的固定权重，设置w_esp＝2；式(4)和式(5)中，error
ij

【专利技术属性】
技术研发人员：萝芙容，徐东阳，薛灿，蔡盛盛，王智，
申请(专利权)人：浙江大学湖州研究院，
类型：发明
国别省市：