陀螺仪结合深度学习获取头部姿态真值的方法技术

本发明专利技术公开了陀螺仪结合深度学习获取头部姿态真值的方法，其特征在于，包括以下步骤：1)准备相机和九轴蓝牙陀螺仪，其中相机高度与M人头水平，摆放于人脸前方，九轴蓝牙陀螺仪固定于被采集人M头顶且Z轴朝上；2)校准头部姿态，人脸面向相机并更新九轴蓝牙陀螺仪与实际头部姿态的偏差R

【技术实现步骤摘要】
陀螺仪结合深度学习获取头部姿态真值的方法

：
[0001]本专利技术属于有监督深度学习训练图像中驾驶员头部姿态信息获取
，特别涉及陀螺仪结合深度学习获取头部姿态真值的方法。

技术介绍
：
[0002]有监督深度学习技术是指需要的训练样本必须有对应的真值作为监督。例如，训练头部姿态模型需要有头部图像和对应的头部姿态信息，现行的获取头部姿态的方法一般通过PNP方法计算，即一张通用的3D人脸关键点和实际图像中的2D人脸对应关键点做匹配，可计算出图像中人脸的相对位姿。然而，该方法还存在以下不足：图像中2D人脸的关键点存在误差；大角度尤其人头偏转60
°
以上时，2D人脸关键点自身存在人脸自遮挡，并且像素级别的误差对PNP的结算结果影响也很大。此外，也有其他通过陀螺仪获取头部姿态的方法，但都需要借助头盔来固定相关设备，该方法还存在以下不足：实际应用场景中不佩戴头盔，如通过佩戴头盔采集的样本训练的深度学习算法模型在不佩戴头盔时的场景下使用时，可能误差较大，特别是在大角度时；头盔等设备较重，佩戴头盔在运动过程中，可能会有松动，使头盔无法真实代表头的姿态；每个人佩戴头盔的习惯不同，同一人两次佩戴头盔的固定角度也有差异，相同的头部姿态可能会因为头盔的佩戴问题得出两个差异较大的真值，这种样本很难训练出较准确的模型。因此，有必要对上述方法进行改进，以提高头部姿态真值的准确性。
[0003]公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路
：
[0004]本专利技术的目的在于提供陀螺仪结合深度学习获取头部姿态真值的方法，从而克服上述现有技术中的缺陷。
[0005]为了实现上述目的，本专利技术提供了陀螺仪结合深度学习获取头部姿态真值的方法，包括以下步骤：
[0006]1)准备相机和九轴蓝牙陀螺仪，其中相机采用RGB相机或IR相机，相机使用PC端代码实时读取并存储图像，相机高度与M人头水平，摆放于人脸前方，九轴蓝牙陀螺仪固定于被采集人M头顶且Z轴朝上，九轴蓝牙陀螺仪使用PC端代码实时获取陀螺仪角度pitch、yaw、roll，通过该角度相应计算其对应的旋转矩阵R
t
，具体转换公式如下：
[0007][0008][0009][0010]R
t
＝R
Z
·
R
x
·
R
y
；
[0011]2)校准头部姿态，并更新九轴蓝牙陀螺仪与实际头部姿态的偏差R
t2p
；具体校准时按照如下步骤进行：
[0012]人脸正对相机，PC端获取此T时刻的人脸图像，并输入到人脸关键点检测算法，得到该图像的人脸68点关键点像素坐标，其中人脸关键点检测算法使用dlib现有算法；
[0013]根据已知标准人脸3D关键点坐标，结合PNP算法，得到T时刻的人头的头部姿态R0，其中标准人脸3D关键点坐标使用开源坐标或者通过3DMM技术重建出一张稠密人脸坐标点后从中挑选出68点对应的3D点坐标；
[0014]T时刻同时读取九轴蓝牙陀螺仪输出值R
t
，计算出九轴陀螺仪姿态到R0的转换关系，R
t2p
＝R0·
Rt
‑1，得到九轴陀螺仪与实际头部姿态的偏差；
[0015]3)读取每帧图像对应的九轴蓝牙陀螺仪输出值R
t
；
[0016]4)根据读取的九轴蓝牙陀螺仪输出值R
t
结合偏差R
t2p
计算该帧头部姿态R，计算公式如下：R＝R
t2p
·
R
t
；
[0017]5)判断计算出的头部姿态与初始头部姿态是否接近，若接近，则重复上述2)
‑
4)的步骤，若不接近，则重复上述3)
‑
4)的步骤，并保存图像同时实时获取被采集人在该相机坐标系的头部姿态R；具体的，当头部姿态R与初始头部姿态R0(即T时刻的人头的头部姿态)在pitch和yaw方向上夹角都在10
°
范围内时判定为接近，满足矫正R
t2p
的条件。
[0018]与现有技术相比，本专利技术的一个方面具有如下有益效果：
[0019](1)本专利技术通过九轴蓝牙陀螺仪获取头部姿态角度，结合九轴蓝牙陀螺仪与实际头部姿态的偏差，可计算出真实的头部姿态R，适用于任意角度的头部姿态获取，避免因头部偏转角度过大而无法获取准确数据的问题；
[0020](2)本专利技术不用头盔等头部大面积附着物，可避免场景对采集数据的影响；且搭载简单、数据采集便利，可解决深度学习中需要大量训练数据的难题。
附图说明：
[0021]图1为本专利技术的陀螺仪结合深度学习获取头部姿态真值的方法的流程示意图。
具体实施方式：
[0022]下面对本专利技术的具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。
[0023]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非
试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0024]如图1所示，陀螺仪结合深度学习获取头部姿态真值的方法，包括以下步骤：
[0025]1)准备相机和九轴蓝牙陀螺仪，其中相机采用RGB相机或IR相机，这里使用普通的RGB相机，100万像素以上，且已知该相机内参K，固定相机位置，相机镜头高度与M人头水平，摆放于人脸前方80cm左右，可以使用PC端代码实时读取并存储图像；九轴蓝牙陀螺仪通过细绳或者透明绑带固定于被采集人M头顶且Z轴朝上，并保证九轴蓝牙陀螺仪在头任意运动时不存在与头的相对运动，充好电后，九轴蓝牙陀螺仪使用PC端代码实时获取陀螺仪角度pitch、yaw、roll，通过该角度相应计算其对应的旋转矩阵R
t
，具体转换公式如下：
[0026][0027][0028]R
t
＝R
Z
·
R
x
·
R
y
；
[0029]2)校准头部姿态，并更新九轴蓝牙陀螺仪与实际头部姿态的偏差R
t2p
；具体校准时按照如下步骤进行：
[0030]人脸正对相机，PC端获取此T时刻的人脸图像，并输入到人脸关键点检测算法，得到该图像的人脸68点关键点像素坐标，此处人脸关键点检测算法使用dlib现有算法；
[0031]根据已知标准人脸3D关键点坐标，结合PNP算法，得到T时刻的人头的头部姿态R0，其中标准人脸3D关键点坐标使用开源坐标或者通过3DMM技术重建出一张稠密人脸坐标点后从中挑选出68点对应的3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.陀螺仪结合深度学习获取头部姿态真值的方法，其特征在于，包括以下步骤：1)准备相机和九轴蓝牙陀螺仪，其中相机高度与M人头水平，摆放于人脸前方，九轴蓝牙陀螺仪固定于被采集人M头顶且Z轴朝上；2)校准头部姿态，并更新九轴蓝牙陀螺仪与实际头部姿态的偏差R
t2p
；3)读取每帧图像对应的九轴蓝牙陀螺仪输出值R
t
；4)根据读取的九轴蓝牙陀螺仪输出值R
t
结合偏差R
t2p
计算该帧头部姿态R；5)判断计算出的头部姿态与初始头部姿态是否接近，若接近，则重复上述2)
‑
4)的步骤，若不接近，则重复上述3)
‑
4)的步骤，并保存图像同时实时获取被采集人在该相机坐标系的头部姿态R。2.根据权利要求1所述的陀螺仪结合深度学习获取头部姿态真值的方法，其特征在于，所述步骤1)中相机采用RGB相机或IR相机，相机使用PC端代码实时读取并存储图像。3.根据权利要求1所述的陀螺仪结合深度学习获取头部姿态真值的方法，其特征在于，所述步骤1)中九轴蓝牙陀螺仪使用PC端代码实时获取陀螺仪角度pitch、yaw、roll，通过该角度相应计算其对应的旋转矩阵R
t
，具体转换公式如下：，具体转换公式如下：，具体转换公式如下：R
t
＝R
Z...

【专利技术属性】
技术研发人员：胡圣岭，刘春霞，杨双鑫，王媛，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：