本发明专利技术公开从驾驶员监控系统中获取头部姿态真值的方法，包括以下步骤：通过RGBD相机采集人脸样本，获取人脸深度信息和RGB图像；将人脸深度信息结合RGBD相机内参转换为3D人脸点云数据P1；通过RGB图像结合3DMM技术得到人脸3D点云数据P2；使用P2对P1数据中面部细节做优化，得到面部细节和空间位置精度都较高的平滑的3D人脸；挑选脸部关键点构建人脸法平面，计算法向量；将头部方向向量转为头部姿态角度。本发明专利技术中，通过利用RGBD相机、3DMM技术和ICP计算方法获得平滑3D人脸结构，通过人脸结构计算头部姿态，提高了头部姿态真值的准确性，可应用于通过有监督深度学习技术训练图像中驾驶员头部姿态模型。中驾驶员头部姿态模型。中驾驶员头部姿态模型。
【技术实现步骤摘要】
从驾驶员监控系统中获取头部姿态真值的方法
[0001]本专利技术属于人体识别
，具体涉及从驾驶员监控系统中获取头部姿态真值的方法。
技术介绍
[0002]目前，获取头部姿态的方法一般采用PNP方法，即一张通用的3D人脸关键点与实际图像中的2D人脸对应关键点做匹配，由此计算出图像中人脸的相对位姿。该方法有以下不足：
[0003]1.通用的3D人脸与实际图像的人脸有大小、形状的差异性，这种差异会引入计算误差，影响准确度；
[0004]2.图像中2D人脸的关键点也存在误差，影响准确度。
技术实现思路
[0005]为解决现有技术中存在的技术问题，本专利技术的目的在于提供从驾驶员监控系统中获取头部姿态真值的方法。
[0006]为实现上述目的，达到上述技术效果，本专利技术采用的技术方案为：
[0007]从驾驶员监控系统中获取头部姿态真值的方法，包括以下步骤：
[0008]1)通过RGBD相机采集人脸样本，获取人脸深度信息和对应的RGB图像；
[0009]2)将人脸深度信息结合RGBD相机内参转换为3D人脸点云数据P1；
[0010]3)通过RGB图像结合3DMM技术得到人脸3D点云数据P2；
[0011]4)使用P2对P1数据中面部细节做优化，得到面部细节和空间位置精度都较高的平滑的3D人脸；
[0012]5)挑选脸部关键点构建人脸法平面，计算法向量；
[0013]6)将头部方向向量转为头部姿态角度。
[0014]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤1)中，所述RGBD相机通过USB接口与PC相连并进行数据传输，安装对应的驱动后即可使用。基于相机厂家提供的SDK，可通过提供的程序接口读设备同时获取到相机的RGB图像和该图像每个像素对应的深度数据。
[0015]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤2)中，将人脸深度信息结合RGBD相机内参转换为3D人脸点云数据P1的步骤包括：
[0016]以拍下的RGB图像构建像素坐标系，左上角为原点，右为x轴，下为y轴；RGBD相机内参包括x向焦距fx、y向焦距fy、x向主点即相机主光轴与像平面的焦点cx、y向主点cy；已知像素平面上每个像素的深度及该像素在像素坐标系上的坐标为(u,v)，则该像素对应在相机坐标系下空间中的位置为：RGB图像上每个像素都计算出其对应的空间位置，通过人脸检测算法检测RGB图像上人脸区域，结合该区域的空间位置
点，可得到人脸部分的空间点云数据P1。
[0017]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤3)中，3DMM类技术如3DDFA_V2论文作者已开源代码和模型，可在此基础上做二次开发。输入一张RGB图像可得到图中人脸对应的空间点P2。
[0018]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤4)中，使用P2对P1数据中面部细节做优化，得到面部细节和空间位置精度都较高的平滑的3D人脸的步骤包括：
[0019]通过ICP算法将人脸3D点云数据P2转换到3D人脸点云数据P1的空间位置上，替代3D人脸点云数据P1，达到平滑人脸的目的。
[0020]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，替代步骤包括：
[0021]①
设置初值旋转变换R＝[[1,0,0],[0,1,0],[0,0,1]]和平移t＝[0,0,0]，R和t为待优化变量，通过该参数可以将P2转换到P1的空间位置上；
[0022]②
对P1和P2中得点分别记为p1和p2，则P2转换到P1的公式为：q2＝R
·
p2+t；
[0023]③
找出p1和q2中的匹配点，匹配的规则为两两最接近的一对点，即||q2
‑
p1||＝min，匹配点分别记为s1和s2；
[0024]④
计算匹配点之间的距离d，
[0025]⑤
迭代优化R和t，使d减小。当d小于某阈值或达到迭代次数时停止迭代，否则更新R和t重复步骤
②
～
⑤
；
[0026]⑥
通过以上ICP算法的优化过程，可得到符合真实数据转换关系的R和t，通过公式q2＝R
·
p2+t可将P2中的点转换到P1的空间位置上，取代3D人脸点云数据P1。
[0027]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤5)中，挑选脸部关键点构建人脸法平面，计算法向量的步骤包括：
[0028]通过3DMM算法可知人脸左右眼睛和人中位置处的索引，通过该索引可在优化后的人脸点云数据上找到对应的3D坐标值；
[0029]通过人脸上的三处点计算最终头部方向向量。
[0030]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，通过人脸上的三处点计算最终头部方向向量的步骤包括：
[0031]①
找出左眼点p11，右眼点p21，人中点p31；
[0032]②
计算向量v1＝p11
‑
p21和向量v2＝p11
‑
p31；
[0033]③
计算头部方向向量即为v3＝v1
×
v2。
[0034]在本专利技术提供的从驾驶员监控系统中获取头部姿态真值的方法中，步骤6)中，将头部方向向量转为头部姿态角度的步骤包括：
[0035]从步骤5)得到向量v1、向量v2和头部方向向量v3，通过叉乘修正v2使三向量相互正交，即v2＝v3
×
v1；归一化v1(x1,y1,z1)，v2(x2,y2,z2)和v3(x3,y3,z3)，使三向量单位长度为1；按照下式计算头部姿态的偏角：yaw(水平)、pitch(上下)、roll(横滚)：
[0036][0037]与现有技术相比，本专利技术的有益效果为：
[0038]本专利技术公开了从驾驶员监控系统中获取头部姿态真值的方法，通过利用RGBD相机、3DMM技术和ICP计算方法获得平滑3D人脸结构，通过人脸结构计算头部姿态，提高了头部姿态真值的准确性，可应用于通过有监督深度学习技术训练图像中驾驶员头部姿态模型，模型的准确度高。
附图说明
[0039]图1为本专利技术的流程图。
具体实施方式
[0040]下面对本专利技术进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0041]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0042]有监督深度学习技术，是指需要的训练样本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.从驾驶员监控系统中获取头部姿态真值的方法，其特征在于，包括以下步骤：1)通过RGBD相机采集人脸样本，获取人脸深度信息和对应的RGB图像；2)将人脸深度信息结合RGBD相机内参转换为3D人脸点云数据P1；3)通过RGB图像结合3DMM技术得到人脸3D点云数据P2；4)使用P2对P1数据中面部细节做优化，得到面部细节和空间位置精度都较高的平滑的3D人脸；5)挑选脸部关键点构建人脸法平面，计算法向量；6)将头部方向向量转为头部姿态角度。2.根据权利要求1所述的从驾驶员监控系统中获取头部姿态真值的方法，其特征在于，步骤1)中，所述RGBD相机通过USB接口与PC相连并进行数据传输。3.根据权利要求1所述的从驾驶员监控系统中获取头部姿态真值的方法，其特征在于，步骤2)中，将人脸深度信息结合RGBD相机内参转换为3D人脸点云数据P1的步骤包括：以拍下的RGB图像构建像素坐标系，左上角为原点，右为x轴，下为y轴；RGBD相机内参包括x向焦距fx、y向焦距fy、x向主点即相机主光轴与像平面的焦点cx、y向主点cy；已知像素平面上每个像素的深度及该像素在像素坐标系上的坐标为(u,v)，则该像素对应在相机坐标系下空间中的位置为：RGB图像上每个像素都计算出其对应的空间位置，通过人脸检测算法检测RGB图像上人脸区域，结合该区域的空间位置点，可得到人脸部分的空间点云数据P1。4.根据权利要求1所述的从驾驶员监控系统中获取头部姿态真值的方法，其特征在于，步骤4)中，使用P2对P1数据中面部细节做优化，得到面部细节和空间位置精度都较高的平滑的3D人脸的步骤包括：通过ICP算法将人脸3D点云数据P2转换到3D人脸点云数据P1的空间位置上，替代3D人脸点云数据P1，达到平滑人脸的目的。5.根据权利要求4所述的从驾驶员监控系统中获取头部姿态真值的方法，其特征在于，替代步骤包括：
①
设置初值旋转变换R＝[[1,0,0],[0,1,0],[0,0,1]]和平移t＝[0,0,0]，R和t为待优化变量，通过该参数可以将P2转换到P1的空间位置上；
②
对P1和P2中得点分别记为p1和p2，则P2转换到P1的公式为：...
【专利技术属性】
技术研发人员：胡圣岭，刘春霞，杨双鑫，王媛，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。