一种基于3D人脸关键点和几何投影的人脸姿态估计方法技术

本发明专利技术公开了一种基于3D人脸关键点和几何投影的人脸姿态估计方法，所述人脸姿态估计方法首先利用三维人脸关键点定位得到二维人脸图像对应的三维人脸关键点坐标，然后利用三维人脸关键点在三维坐标系的x‑y、x‑z以及y‑z三个平面上的几何投影来分别估计人脸在roll、yaw和pitch三个方向上的偏移角度，达到准确估计实现人脸姿态的目的。本发明专利技术限定的方法不仅可以对约束场景下的人脸进行姿态估计，还可以对无约束场景下的人脸进行姿态估计，从而实现人脸姿态的准确估计。

A face pose estimation method based on 3D face key points and geometric projection

【技术实现步骤摘要】
一种基于3D人脸关键点和几何投影的人脸姿态估计方法
本专利技术属于姿态估计和人脸图像质量评测
，具体为一种基于3D人脸关键点和几何投影的人脸姿态估计方法。
技术介绍
人的头部被看作是一个刚性物体，其姿态被限制在三个自由度上，分别用俯仰角pitch、偏航角yaw以及翻滚角roll来表示。随着现代计算机技术和人工智能的快速发展，人脸姿态估计已广泛应用于各种人机交互应用中，如驾驶辅助、残疾人辅助以及各种娱乐设备等。此外，人脸姿态估计也可以应用于人脸识别中，由于人脸姿态的复杂多变，特别是当人脸偏转角度较大的时候，会严重影响人脸识别的效果，利用人脸姿态估计可以在人脸姿态较正的情况下进行人脸识别，在视频人脸识别中可以大大提高人脸识别的准确率，对于人员非主动配合考勤以及开放场景下的嫌疑犯识别等有重大意义。人脸姿态估计一直是一个具有吸引力的研究课题，由于人脸外观的多样性，如各种各样的人脸姿态变化、人脸纹理不同、光照不均匀、脸部部分遮挡等，使得人脸姿态估计具有挑战性。专利技术专利(专利技术人：于力、肖芳等，申请号：201910389666.3，名称：基于MTCNN的人脸姿态估计方法)公开了一种基于MTCNN的人脸姿态估计方法，使用MTCNN模型对预处理后的人脸图像进行人脸检测，标定出关键点，然后根据图像几何中心和左眼、右眼的相对位置和几何关系计算得到人脸姿态的偏转角度，得到人脸姿态估计结果。专利技术专利(专利技术人：赖剑煌、欧阳柳等，申请号：201811580405.1，名称：一种融合手工设计描述子和深度特征的人脸姿态估计方法)公开了一种融合手工设计描述子和深度特征的人脸姿态估计方法，使用SIFT描述子提取人脸图像的轮廓和局部信息，使用DeepID深度网络提取人脸图像的表观和结构信息，并将两者串联输入到训练好的SVM分类器进行分类，确定该待分类的人脸的姿态类别。专利技术专利(专利技术人：赵启军、李科等，申请号：201511024409.8，名称：一种级联的二维图像人脸姿态估计方法)公开了一种级联的二维图像人脸姿态估计方法，首先检测人脸，提取二维人脸图像的特征向量并计算其在不同姿态角下的可能性，选择具有最大可能性的姿态角作为该输入的二维人脸图像的姿态初始估计结果，采用基于特征点的方法进一步精确估计输入人脸图像中的人脸姿态角度。上述方法存在的共同问题是人脸姿态估计的准确率较低，当人脸姿态偏移角度偏大时，无法较为准确的估计出人脸在三个方向上的偏移。
技术实现思路
针对现有的人脸姿态估计方法存在的上述问题，本专利技术的目的在于提出了一种基于3D人脸关键点和几何投影的人脸姿态估计方法。所述的一种基于3D人脸关键点和几何投影的人脸姿态估计方法，其特征在于包括如下步骤：步骤1：利用三维人脸关键点定位模型W对待姿态估计的二维人脸图像进行关键点定位，得到二维人脸图像的三维人脸关键点坐标：两眼眉毛的中点三维坐标P1＝(X1,Y1,Z1)，鼻子上方第一个关键点三维坐标P2＝(X2,Y2,Z2)，左眼中点三维坐标P3＝(X3,Y3,Z3)，右眼中点三维坐标P4＝(X4,Y4,Z4)，其中，P1为两眉毛n1个三维关键点坐标的平均值，左眼中点三维坐标P3为左眼n3个三维关键点坐标的平均值，右眼中点三维坐标P4；步骤2：利用两眼中点三维坐标P3与P4的连线L34在x-y平面上的投影来估计人脸在roll方向上的偏移，其中，线段的两个端点分别为以及令人脸在roll方向上的偏移角度为θroll，则θroll的计算如公式(1)所示；步骤2.1：当x3＝x4时，人脸在roll方向上为90°，即θroll＝90°；步骤2.2：当x3≠x4时，当人脸在roll方向上无偏移时，与x轴平行，即y3＝y4，此时θroll＝0°，当人脸在roll方向上发生偏移时，与x轴产生夹角，当y3＞y4，即θroll＞0，此时人脸在roll方向上向左侧偏移，当y3＜y4，即θroll＜0，此时人脸在roll方向上向右侧偏移；步骤3：利用两眼中点三维坐标P3与P4的连线L34在x-z平面上的投影来估计人脸在yaw方向上的偏移，其中，线段的两个端点分别以及令人脸在yaw方向上的偏移角度为θyaw，则θyaw的计算如公式(2)所示；步骤3.1：当x3＝x4时，人脸在yaw方向上为90°，即θyaw＝90°；步骤3.2：当x3≠x4时，当人脸在yaw方向上无偏移时，与x轴平行，即z3＝z4，此时θyaw＝0°，当人脸在yaw方向上发生偏移时，与x轴产生夹角，当z3＜z4，即θyaw＞0，此时人脸在yaw方向上向左侧偏移，当z3＞z4，即θyaw＜0，此时人脸在yaw方向上向右侧偏移；步骤4：利用两眉毛的中点三维坐标P1和鼻子上方的第一个关键点P2的连线L12在y-z平面上的投影来估计人脸在pitch方向上的偏移，其中，线段的两个端点分别以及令人脸在pitch方向上的偏移角度为θpitch，则θpitch的计算如公式(3)所示；步骤4.1：当y1＝y2时，人脸在pitch方向上为90°，即θpitch＝90°；步骤4.2：当y1≠y2时，当人脸在pitch方向上无偏移时，与y轴平行，即z1＝z2，此时θpitch＝0°，当人脸在pitch方向上发生偏移时，与y轴产生夹角，当z1＞z2，即θpitch＞0，此时人脸在pitch方向上向上侧偏移，当z1＜z2，即θpitch＜0，此时人脸在pitch方向上向下侧偏移；步骤5：当x3＝x4时，人脸在yaw方向上为90°或在roll方向上为90°，此时为极端姿态下的人脸姿态估计，利用点P1和P2连线在x-y平面上的投影与x轴的夹角β来进行判断，令平行于x轴的向量令点P1和P2连线在x-y平面上的投影向量不考虑人脸姿态在两个方向上同为90°的情况，因此，当yaw方向或roll方向上为90°时，不存在的情况，则β的计算公式如公式(4)所示；步骤5.1：当0≤β≤15°时，人脸在roll方向上为90°，此时，利用两眼中点三维坐标P3与P4连线L34在y-z平面上的投影来估计人脸在yaw方向上的偏移，线段的两个端点分别为以及此时θyaw的计算如公式(5)所示，利用两眉毛的中点P1和鼻子上方的第一个关键点P2的连线L12在x-z平面上的投影来估计人脸在pitch方向上的偏移，线段的两个端点分别以及此时θpitch的计算如公式(6)所示；步骤5.2：当β＞15°时，人脸在yaw方向上为90°，此时，利用来估计人脸在roll方向上的偏移，θroll的计算如公式(7)所示，利用来估计人脸在pitch方向上的偏移，θpitch的计算如公式(8)所示；所述的基于3D人脸关键点和几何投影的人脸姿态估计方法，其特征在于步骤1中得到二维人脸图像的三维人脸关键点坐标的具体过程如下：步骤1.1：利用模型W对人脸图像I进行关键点定位，得到三维人脸关键点坐标集合L＝{li|i＝1,2,...,N}，其中，N为三维人脸本文档来自技高网...

【技术保护点】
1.一种基于3D人脸关键点和几何投影的人脸姿态估计方法，其特征在于包括如下步骤：/n步骤1：利用三维人脸关键点定位模型W对待姿态估计的二维人脸图像进行关键点定位，得到二维人脸图像的三维人脸关键点坐标：两眼眉毛的中点三维坐标P

【技术特征摘要】
1.一种基于3D人脸关键点和几何投影的人脸姿态估计方法，其特征在于包括如下步骤：
步骤1：利用三维人脸关键点定位模型W对待姿态估计的二维人脸图像进行关键点定位，得到二维人脸图像的三维人脸关键点坐标：两眼眉毛的中点三维坐标P1＝(X1,Y1,Z1)，鼻子上方第一个关键点三维坐标P2＝(X2,Y2,Z2)，左眼中点三维坐标P3＝(X3,Y3,Z3)，右眼中点三维坐标P4＝(X4,Y4,Z4)，其中，P1为两眉毛n1个三维关键点坐标的平均值，左眼中点三维坐标P3为左眼n3个三维关键点坐标的平均值，右眼中点三维坐标P4；
步骤2：利用两眼中点三维坐标P3与P4的连线L34在x-y平面上的投影来估计人脸在roll方向上的偏移，其中，线段的两个端点分别为以及令人脸在roll方向上的偏移角度为θroll，则θroll的计算如公式(1)所示；



步骤2.1：当x3＝x4时，人脸在roll方向上为90°，即θroll＝90°；
步骤2.2：当x3≠x4时，当人脸在roll方向上无偏移时，与x轴平行，即y3＝y4，此时θroll＝0°，当人脸在roll方向上发生偏移时，与x轴产生夹角，当y3＞y4，即θroll＞0，此时人脸在roll方向上向左侧偏移，当y3＜y4，即θroll＜0，此时人脸在roll方向上向右侧偏移；
步骤3：利用两眼中点三维坐标P3与P4的连线L34在x-z平面上的投影来估计人脸在yaw方向上的偏移，其中，线段的两个端点分别以及令人脸在yaw方向上的偏移角度为θyaw，则θyaw的计算如公式(2)所示；



步骤3.1：当x3＝x4时，人脸在yaw方向上为90°，即θyaw＝90°；
步骤3.2：当x3≠x4时，当人脸在yaw方向上无偏移时，与x轴平行，即z3＝z4，此时θyaw＝0°，当人脸在yaw方向上发生偏移时，与x轴产生夹角，当z3＜z4，即θyaw＞0，此时人脸在yaw方向上向左侧偏移，当z3＞z4，即θyaw＜0，此时人脸在yaw方向上向右侧偏移；
步骤4：利用两眉毛的中点三维坐标P1和鼻子上方的第一个关键点P2的连线L12在y-z平面上的投影来估计人脸在pitch方向上的偏移，其中，线段的两个端点分别P1y-z＝(y1,z1)以及令人脸在pitch方向上的偏移角度为θpitch，则θpitch的计算如公式(3)所示；



步骤4.1：当y1＝y2时，人脸在pitch方向上为90°，即θpitch＝90°；
步骤4.2：当y1≠...

【专利技术属性】
技术研发人员：高飞，李帅，葛一粟，卢书芳，陆佳炜，程振波，肖刚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33