人脸姿态估计方法、装置、电子设备与可读存储介质制造方法及图纸

本申请公开了一种人脸姿态估计方法、装置、电子设备与可读存储介质，涉及图像识别技术。该方法，包括：获取人脸图像，将人脸图像输入预先训练的人脸姿态估计模型中，得到目标角度值和目标姿态类型；判断目标角度值是否落入目标姿态类型对应的角度范围；如果目标角度值落入目标姿态类型对应的角度范围，则将目标角度值作为人脸姿态估计结果；否则，确定目标姿态类型的上边界与下边界中，与目标角度值的大小最接近的一个，作为人脸姿态估计结果。本申请的人脸姿态估计模型将人脸姿态的分类和人脸姿态角度值的估计结合起来，进行联合训练，并共享特征和参数，从而大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。

【技术实现步骤摘要】
人脸姿态估计方法、装置、电子设备与可读存储介质
本申请涉及图像识别技术，特别是涉及一种人脸姿态估计方法、装置、电子设备与可读存储介质。
技术介绍
随着计算机视觉的不断发展，人脸识别相关算法层出不穷，基于深度学习的人脸识别算法在理想实验环境下，已经达到相当高的识别准确率，但在现实场景中，不同的人脸姿态，如面部的左右、俯仰与平面内旋转角度的变化等将会造成面部信息缺失，从而使得人脸识别效果面临着非常大的挑战。因此，提高人脸识别效果需要首先对人脸姿态进行准确的估计。目前，基于算法模型训练的人脸姿态估计方法，通常包括：针对人脸姿态进行分类得到人脸姿态类型，或者针对人脸姿态进行人脸姿态估计，得到人脸姿态的角度值。如果仅针对人脸姿态进行分类得到人脸姿态类型，在对每个人脸姿态类型的边界进行划分时，通常根据实际需要将不同的角度范围划分为不同的人脸姿态类型，但在每个角度范围的边界附近存在大量的边界点难以正确的分类。如果仅针对人脸姿态进行人脸姿态的角度值的估计，当人脸姿态的角度值较大时，难以通过拟合得到姿态角度，造成算法模型训练时难以收敛或过拟合等问题，从而无法得到准确的人脸姿态估计结果。
技术实现思路
有鉴于此，本申请的主要目的在于提供一种人脸姿态估计方法、装置、电子设备与可读存储介质，该方法可以大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。为了达到上述目的，本申请提出的技术方案为：第一方面，本申请实施例提供了一种人脸姿态估计方法，包括：获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。一种可能的实施方式中，对所述人脸姿态估计模型进行训练的步骤包括：获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签；将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值；将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。一种可能的实施方式中，所述将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值的步骤包括：根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型；根据所述人脸图像样本标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值；根据所述人脸图像训练集标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合；根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。一种可能的实施方式中，通过下述步骤确定所述每种预测情况对应的损失函数权值：判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同；如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1；如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。一种可能的实施方式中，所述将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值的步骤包括：根据所述人脸姿态类型标签和属于所述人脸姿态类型标签的概率，确定所述人脸姿态类型损失值。一种可能的实施方式中，在将所述人脸图像输入人脸姿态估计模型中的步骤，还得到：人脸特征点相对于人脸边框的目标位置坐标；所述人脸特征点为人的面部器官对应的特征点。一种可能的实施方式中，对所述人脸姿态估计模型进行训练的步骤包括：获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值、人脸姿态类型和人脸特征点的位置做出标记，作为人脸姿态角度标签、人脸姿态类型标签和人脸特征位置标签；将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值和人脸特征位置预测值；将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；将人脸特征位置预测值和人脸特征位置标签输入人脸姿态特征损失函数，得到人脸姿态特征损失值；根据人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值，以及人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。第二方面，本申请实施例提供了一种人脸姿态估计装置，包括：获取模块，用于获取人脸图像；人脸姿态估计模型，用于根据输入的所述人脸图像，得到目标角度值和目标姿态类型；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集本文档来自技高网...

【技术保护点】
1.一种人脸姿态估计方法，其特征在于，包括：/n获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；/n判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；/n如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；/n否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。/n

【技术特征摘要】
1.一种人脸姿态估计方法，其特征在于，包括：
获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；
判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；
如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；
否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。


2.根据权利要求1所述的方法，其特征在于，对所述人脸姿态估计模型进行训练的步骤包括：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。


3.根据权利要求2所述的方法，其特征在于，所述将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值人脸姿态角度损失值的步骤包括：
根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型；
根据所述人脸图像样本标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值；
根据所述人脸图像样本标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合；
根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。


4.根据权利要求3所述的方法，其特征在于，通过下述步骤确定所述每种预测情况对应的损失函数权值：
判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同；
如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1；
如果所述人脸姿态类型标签与所述计算人脸姿态类...

【专利技术属性】
技术研发人员：杨茜，王楠，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京;11