【技术实现步骤摘要】
本专利技术涉及头部姿态识别，具体为一种基于人脸关键点与haar 特征的头部姿态估计方法。
技术介绍
1、头部姿态估计为利用面部图像获取头部姿态角的一种技术，可以通过检测头部姿态来实现各种控制，其在智能驾驶控制系统或者高级辅助驾驶系统中，都有广泛应用。现有技术中常用的头部姿态估计方法有两种，一种是利用角度和位移等运动传感器采集三维信息，实现对头部姿态的估计，另外一种是通过相机采集多视角图像或者视频帧序列，提取关键特征点，对特征点进行跟踪和预测，进而实现头部姿态估计。如申请号为cn201010115146.2的专利，公开了一种头部姿态检测设备，其包括：多视角图像获取单元和头部姿态估计单元，多视角图像获取单元获取从不同角度同时拍摄的对象的视角图像，正面人脸图像估计单元，从获取的视角图像中检测具有偏航角最小的人脸的视角图像；头部姿态估计单元从一个人脸三维模型获得预定人脸特征点的三维坐标，从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标，根据获取的预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态，根据图像捕捉设备的世界坐标系坐标将第一头部姿态转换为以世界坐标系表示的第二头部姿态。
2、然而实际应用中，发现在计算头部姿态过程中，会出现下面的问题：
3、-人脸被遮挡比较严重；
4、-使用人脸关键点模型得到的坐标与真实的人脸关键点会存在一定偏差；
5、-单纯基于人脸关键点与pnp算法的头部姿态估计方法会存在真实人
6、-基于人脸rgb图像的头部姿态估计容易受到光照、表情、容貌等因素的影响；
7、最终导致基于现有的多视角图像提取人脸关键点方式计算得到的头部姿态角不准确。
技术实现思路
1、为了解决现有的基于多视角图像提取人脸关键点方式计算得到的头部姿态角不准确的问题，本专利技术提供一种基于人脸关键点与haar 特征的头部姿态估计方法，其可以降低外部元素对头部姿态估计的影响，提高人脸关键点的检测精准度，从而提高对于头部姿态角计算的准确率。
2、本专利技术的技术方案是这样的：一种基于人脸关键点与haar 特征的头部姿态估计方法，其包括以下步骤：
3、s1：通过深度相机采集包括待识别对象的图像，提取图像中的脸部区域，得到待识别脸部区域图像；
4、将所述待识别脸部区域图像中脸部对应的头部姿态角记作：待识别头部姿态角r1；
5、所述待识别头部姿态角r1∈r3，三个维度分别对应俯仰角、偏航角和旋转角；
6、将所述待识别脸部区域图像中人脸3d关键点信息记作：待检测人脸关键点pn；
7、所述待检测人脸关键点pn∈r3，n为预设的人脸关键点个数，pn分别代表n个关键点的x、y、z坐标；
8、所述深度相机为已经完成内参标定的相机；
9、其特征在于，其还包括以下步骤：
10、s2：基于轻量化fasternet构建关键点预测网络；
11、所述关键点预测网络的输入为脸部区域图像，输出脸部区域的预测关键点信息；
12、所述预测关键点信息包括：脸部区域的关键点坐标及每个关键点被遮挡的概率；
13、s3：将所述待识别脸部区域图像输入到训练好的所述关键点预测网络中，得到对应的所述预测关键点信息；
14、根据所述预测关键点信息中人脸的鼻子和嘴巴中间部分的3d关键点计算得到人脸的中心面；
15、人脸中心面垂直于人脸并将人脸分割为对称的两部分；
16、s4：根据人脸基于所述人脸中心面对称的原理，通过所述人脸中心面两侧的对称的关键点坐标，对所述预测关键点信息中被遮挡的关键点的坐标进行补充优化，得到优化后的所述预测关键点信息，其对应的脸部区域记作：优化后脸部区域；
17、s5：获取平均人脸关键点坐标；
18、s6：基于pnp算法计算得到所述深度相机拍摄的图像中的人脸关键点和所述平均人脸的关键点集之间的变换关系矩阵；
19、基于所述变换关系矩阵，求解出所述优化后脸部区域相对于所述深度相机的头部姿态角r1；
20、所述头部姿态角r1包括：俯仰角、偏航角和旋转角；
21、s7：提取所述待识别脸部区域图像的haar特征；
22、所述haar特征包括：脸部轮廓和脸部器官位置；
23、s8：基于repvgg构建头部姿态估计网络；
24、所述头部姿态估计网络的输出为预测姿态角落在细分区域的概率；
25、所述预测姿态角包括三个维度的角度：预测俯仰角、预测偏航角和预测旋转角；
26、s9：指定所述头部姿态估计网络每个预测姿态角的细分区域的个数m；
27、所述预测俯仰角、所述预测偏航角和所述预测旋转角的取值范围为：[-90, 90]；将每个姿态角均匀划分为m个细分区域dj；
28、；
29、其中，j为区域序号，j=1，2，....，m；
30、则，所述头部姿态估计网络输出的预测姿态角的计算方法为：
31、；
32、其中，qj为头部姿态估计网络的姿态角落在细分区域dj的概率，cj为dj的中心；
33、s10：将所述haar特征输入到训练好的所述头部姿态估计网络中，得到预测姿态角r2；
34、s11：基于所述头部姿态角和所述预测姿态角计算得到最优头部姿态角，完成头部姿态估计；
35、rp=α*r1+β*r2；
36、其中，rp为最优头部姿态角，r1为头部姿态角，r2为预测姿态角；α和β预设的权参数。
37、其进一步特征在于：
38、优化后的所述预测关键点信息的计算方法，具体包括以下步骤：
39、a1：根据预测得到的每个人脸关键点被遮挡概率找出被遮挡的关键点，记作：被遮挡点，其坐标为pi；
40、a2：在所述预测关键点信息中，找到与被遮挡点基于所述人脸中心面对称的点，根据脸部对称性原理计算出所述被遮挡点的基础坐标pi'；
41、a3：基于pi和pi'计算得到人脸关键点的优化后坐标pi"：pi"=（pi'+ pi）/2；
42、a4：将优化后坐标pi"赋值给其对应的人脸关键点坐标pi；
43、完成对模型预测得到的被遮挡的关键点坐标pi的优化，得到优化后的所述预测关键点信息；
44、所述头部姿态估计网络的损失函数包括：属于所属区域概率的损失函数ldfl和各区域角度加权后姿态角的回归损失lr；
45、；
46、lr=|dp-r|；
47、所述关键点预测网络的损失函数包括：计算关键点坐标的回归损失函数l1以及判断关键点是否被遮挡的cross entropy分类损失函数l2；
48、；本文档来自技高网...
【技术保护点】
1.一种基于人脸关键点与Haar 特征的头部姿态估计方法，其包括以下步骤：
2.根据权利要求1所述一种基于人脸关键点与Haar 特征的头部姿态估计方法，其特征在于：优化后的所述预测关键点信息的计算方法，具体包括以下步骤：
3.根据权利要求1所述一种基于人脸关键点与Haar 特征的头部姿态估计方法，其特征在于：所述头部姿态估计网络的损失函数包括：属于所属区域概率的损失函数Ldfl和各区域角度加权后姿态角的回归损失Lr；
4.根据权利要求1所述一种基于人脸关键点与Haar 特征的头部姿态估计方法，其特征在于：所述关键点预测网络的损失函数包括：计算关键点坐标的回归损失函数L1以及判断关键点是否被遮挡的cross entropy分类损失函数L2；
5.根据权利要求1所述一种基于人脸关键点与Haar 特征的头部姿态估计方法，其特征在于：步骤S7中，使用积分图算法提高图像特征值计算的效率。
【技术特征摘要】
1.一种基于人脸关键点与haar 特征的头部姿态估计方法，其包括以下步骤：
2.根据权利要求1所述一种基于人脸关键点与haar 特征的头部姿态估计方法，其特征在于：优化后的所述预测关键点信息的计算方法，具体包括以下步骤：
3.根据权利要求1所述一种基于人脸关键点与haar 特征的头部姿态估计方法，其特征在于：所述头部姿态估计网络的损失函数包括：属于所属区域概率的损失函数ldfl和各区域角度加...
【专利技术属性】
技术研发人员：范文豪，徐西海，
申请(专利权)人：无锡车联天下信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。