【技术实现步骤摘要】
头戴式增强现实系统的视觉和惯性混合位姿跟踪方法
[0001]本专利技术涉及载人航天领域，具体涉及到一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法。
技术介绍
[0002]在对航天员进行训练过程中，跟踪其头部运动，进一步获取视线方向，对于航天员操作行为动作的评估，具有十分重要的意义。航天员在训练过程中，为重现航天操作场景，一般需要佩戴头戴式增强现实系统，因此对头戴式增强现实系统进行位姿估计，获得其位姿数据，可有效支撑航天员操作设备的训练过程，并对其训练效果评估提供依据。现有的设备位姿实时估计方法中，光学类方法易受遮挡，且在不良光线条件下估计效果受限，视觉惯性系统由于传感器限制，无法直接获得系统所处的准确状态，从而在静止状态下难以实现系统状态估计器的初始化、外部标定、非线性优化等过程。惯性器件IMU具有较高的输出频率，可输出短期内的位姿状态，但其位姿估计精度取决于标校过程，如果不能对其进行有效标校，将影响其估计精度。
技术实现思路
[0003]针对航天员所佩戴的头戴式增强现实系统在训练过程中的位姿跟踪问题，本...
【技术保护点】
【技术特征摘要】
1.一种头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，首先进行设备初始化，包括对视觉传感器和惯性测量设备进行测量预处理，以及对视觉传感器和惯性测量设备进行联合标定，再利用视觉传感器和惯性测量设备二者所采集的测量数据对头戴式增强现实系统进行融合定位，对定位结果进行回环检测和全局位姿图优化，得到最终的位姿估计结果。2.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的测量预处理过程，包括将视觉传感器采集的帧图像进行处理，同时对两个连续帧图像对应的惯性测量结果进行预积分。3.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的融合定位过程，融合了预积分的惯性测量结果和视觉图像特征观测结果，实现对头戴式增强现实系统的融合定位。4.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的全局位姿图优化，利用重定位结果进行全局优化以消除漂移。5.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的设备初始化过程，首先基于滑动窗口的视觉SFM算法进行初始化，再计算头戴式增强现实系统的位姿变化，通过将IMU预积分结果与视觉SFM算法结果进行匹配，恢复出尺度、重力、速度与偏差，用以引导基于非线性优化的VIO。6.如权利要求5所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的基于滑动窗口的视觉SFM算法进行初始化，包括特征点跟踪、相机位姿估计、优化，对于特征点跟踪，首先检查头戴式增强现实系统采集图像的最新帧图像与滑动窗口中所有帧图像之间的特征对应关系，如果最新帧图像和滑动窗口中任何帧图像存在超过一定数量的跟踪特征和旋转补偿像素，对最新帧图像利用该跟踪特征和旋转补偿像素进行相对旋转和尺度平移，对这两个帧中的所有特征进行三角化，若不存在，将最新帧图像保存在滑动窗口中，并等待新的帧图像；对于相机位姿估计，利用三角化后的特征，采用PnP方法来估计滑动窗口中所有帧图像的姿态，进一步得到相机姿态；所述的优化，利用BA优化方法来最小化所有特征观测的总重投影误差，从而完成对相机姿态的优化估计；P为左目、右目相机分别获取的左、右帧图像的特征点对应实物在真实空间中的位置坐标，将P称为特征位置，特征点p1、p2分别是该实物在左目、右目相机上的投影，O1、O2分别是左目、右目相机的中心；P的表示式为P＝[X,Y,Z]
T
，依据针孔相机模型，则特征点p1、p2的位置坐标满足关系系：s1p1＝K1Ps2p2＝K2(RP+t)，其中，K1、K2分别为左目、右目相机的内参矩阵，R、t分别为左目和右目两个相机间的刚体转换矩阵和偏置矩阵，s1、s2分别为左目相机和右目相机的比例系数，求得P的最小二乘解为：从而得到特征位置估计结果；根据特征点匹配信息及特征位置估计，利用SFM算法获得当前特征点的三维空间位置以及其在相机上的投影位置，再直接利用PnP算法估计图像姿
态。7.如权利要求1所述的头戴式增强现实系统的视觉和惯性混合位姿跟踪方法，其特征在于，所述的对视觉传感器和惯性测量设备进行联合标定，对惯性测量设备进行标定，得到目标姿态、速度、重力矢量、陀螺仪偏置和三维特征位置的初始估计结果，用于引导基于非线性优化的视觉
‑
惯性里程计VIO，计算出惯性测量设备对视觉传感器的绝对尺度比例因子、陀螺...
【专利技术属性】
技术研发人员：何宁，晁建刚，许振瑛，胡福超，黄冉，佘佳宏，郭俊鹏，陈炜，
申请(专利权)人：中国人民解放军六三九一九部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。