智能手机单目和IMU融合的稳定运动跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种智能手机单目和IMU融合的稳定运动跟踪方法和装置，属于AR/VR运动跟踪技术领域，所述方法包括：利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化；使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。与现有技术相比，本发明专利技术具有能够获取更加稳定的运动跟踪方式，并实现尺度的实时在线估计的特点。

【技术实现步骤摘要】

本专利技术涉及移动通信领域，特别是指一种智能手机单目和IMU融合的稳定运动跟踪方法和装置。
技术介绍
随着VR技术的发展，利用先进的运动跟踪技术是其应用的先决技术条件之一，在此技术基础上可以实现更好的交互和更佳的沉浸感。当前移动VR主要是使用手柄来进行交互，在交互过程中仅仅使用手机的陀螺仪来进行旋转跟踪，由于手机陀螺仪本身的偏差和噪音的影响，导致旋转估计不准，重复精度较差；当用户坐着站起来向前移动时，如果不使用手柄交互的话，虚拟场景保持固定不动，像什么也没发生一样，交互体验不好；而当用户坐着沉浸在虚拟环境中，下意识站起来尝试移动，虚拟场景没有发生任何变化，沉浸感消失。运动跟踪技术是要测量、跟踪、记录物体在三维空间中的运动轨迹，其主要是通过传感器技术获取运动场景的信息，并实时计算得到被跟踪物体在空间的姿态，被广泛应用于机器人导航、无人机导航和无人车自动驾驶导航等领域。2004年Nister首次提出视觉里程计(Visual Odometry，VO)的概念以来，基于视觉里程计的方法已成为实时姿态估计和运动跟踪的主流。它通过估计相机在空间的增量运动，在时间空间确定相机的运动轨迹。而视觉惯性里程计(Visual IMU Odometry，VIO)融合了相机和惯性传感器的信息，主要是陀螺仪和加速度计，给出了一个优势互补的方案。例如，一个单一的相机可以估计相对位置，但它不能提供绝对尺度，无法得到物体大小或两个物体之间的实际距离，且摄像头采样帧率一般较低且图像传感器的噪音相对较大，使得其在运动跟踪的过程中对环境的适应性较差。惯性传感器可以提供绝对尺度，并以较高的采样频率测量，从而提高了设
备移动快速时的鲁棒性。然而，自带的低成本惯性传感器，相比基于相机的位置估计容易出现较大的漂移，无法实现稳定的运动跟踪。
技术实现思路
本专利技术要解决的技术问题是提供一种能够获取更加稳定的运动跟踪方式，并实现尺度的实时在线估计的智能手机单目和IMU融合的稳定运动跟踪方法和装置。为解决上述技术问题，本专利技术提供技术方案如下：一种智能手机单目和IMU融合的稳定运动跟踪方法，包括：利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化；使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。进一步的，所述利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化包括：对获取的第一帧图像使用ORB算法提取特征点并计算描述子，将第一帧记为关键帧，标记相机的绝对位姿；相机平移一端距离后，再对对获取的图像采用ORB算法提取特征点并计算描述子，与第一帧图像特征点进行匹配，将第二帧记为关键帧，并计算出第二帧下相机相对于第一帧的相对位姿；对匹配成功的特征点集进行3D重构，得到初始地图点。进一步的，所述计算出第二帧下相机相对于第一帧的相对位姿包括：根据第一帧和第二帧图像上的对应匹配特征点集，计算出两帧图像间的基础矩阵；根据基础矩阵和相机的内参数，计算得到本质矩阵；对本质矩阵采用奇异值分解，得到所述第二帧下相机相对于第一帧的相对位姿。进一步的，所述使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿包括：对图像的当前帧采用ORB算法栅格化提取图像特征点和计算描述子；采用恒定速度运动模型，估计当前帧对应相机位姿，将上一帧图像所有地图点投影到当前图像帧上，进行特征点匹配，并将匹配成功的上一帧地图点赋值给当前帧相应的特征点；采用LM算法和Huber估计更新当前帧位姿和当前帧地图点；根据更新后的位姿，将局部关键帧所有地图点投影到当前图像帧上，并进行特征点匹配，匹配成功后，将匹配成功的所有地图点赋值给当前帧相应的特征点，并使用LM算法和Huber估计重新更新当前帧位姿和当前帧地图点。进一步的，所述使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿还包括：根据时间间隔情况和/或当前帧地图点个数来判断是否需要增加关键帧，如果离上次增加关键帧超过一定时间后或者当前帧的地图点数小于阈值，则增加新的关键帧；判断当前帧是否为新的关键帧，如果是，则增加新的地图点，将新的关键帧无地图点的所有特征点与局部关键帧中的所有特征点进行特征点匹配，匹配成功后3D重构得到新的地图点；局部光束平差优化，修正累积误差，得到优化后的位姿和地图点。一种智能手机单目和IMU融合的稳定运动跟踪装置，包括：地图初始化模块，用于利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化；视觉跟踪模块，用于使用ORB算法实时匹配和并行局部关键帧建图
的方式进行视觉跟踪，得到视觉位姿；IMU位姿计算模块：用于获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；融合模块：用于对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。进一步的，所述地图初始化模块还用于：对获取的第一帧图像使用ORB算法提取特征点并计算描述子，将第一帧记为关键帧，标记相机的绝对位姿；相机平移一端距离后，再对对获取的图像采用ORB算法提取特征点并计算描述子，与第一帧图像特征点进行匹配，将第二帧记为关键帧，并计算出第二帧下相机相对于第一帧的相对位姿；对匹配成功的特征点集进行3D重构，得到初始地图点。进一步的，所述计算出第二帧下相机相对于第一帧的相对位姿包括：根据第一帧和第二帧图像上的对应匹配特征点集，计算出两帧图像间的基础矩阵；根据基础矩阵和相机的内参数，计算得到本质矩阵；对本质矩阵采用奇异值分解，得到所述第二帧下相机相对于第一帧的相对位姿。进一步的，所述视觉跟踪模块还用于：对图像的当前帧采用ORB算法栅格化提取图像特征点和计算描述子；采用恒定速度运动模型，估计当前帧对应相机位姿，将上一帧图像所有地图点投影到当前图像帧上，进行特征点匹配，并将匹配成功的上一帧地图点赋值给当前帧相应的特征点；采用LM算法和Huber估计更新当前帧位姿和当前帧地图点；根据更新后的位姿，将局部关键帧所有地图点投影到当前图像帧上，并进行特征点匹配，匹配成功后，将匹配成功的所有地图点赋值给当前帧相应的特征点，并使用LM算法和Huber估计重新更新当前帧位姿和当前
帧地图点。进一步的，所述视觉跟踪模块还用于：根据时间间隔情况和/或当前帧地图点个数来判断是否需要增加关键帧，如果离上次增加关键帧超过一定时间后或者当前帧的地图点数小于阈值，则增加新的关键帧；判断当前帧是否为新的关键帧，如果是，则增加新的地图点，将新的关键帧无地图点的所有特征点与局部关键帧中的所有特征点进行特征点匹配，匹配成功后3D重构得到新的地图点；局部光束平差优化，修正累积误差，得到优化后的位姿和地图点。本专利技术具有以下有益效果：本专利技术中，先对地图初始化，初始化成功后获取图像进行连续跟踪并进行位姿估计；同时，获取IMU数据进行积分预测位姿；在扩展卡尔曼滤波(Extende本文档来自技高网...

【技术保护点】
一种智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，包括：利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化；使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。

【技术特征摘要】
1.一种智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，包括：利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化；使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿；获取IMU在三维空间产生的加速度和角速度值，并对加速度和角速度值进行积分运算，得到IMU位姿预测结果；对视觉位姿和IMU位姿预测结果进行卡尔曼融合，依据融合后得到的位姿信息进行运动跟踪。2.根据权利要求1所述的智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，所述利用ORB算法对获取的图像进行处理，之后进行3D重构，得到初始地图点，完成地图初始化包括：对获取的第一帧图像使用ORB算法提取特征点并计算描述子，将第一帧记为关键帧，标记相机的绝对位姿；相机平移一端距离后，再对对获取的图像采用ORB算法提取特征点并计算描述子，与第一帧图像特征点进行匹配，将第二帧记为关键帧，并计算出第二帧下相机相对于第一帧的相对位姿；对匹配成功的特征点集进行3D重构，得到初始地图点。3.根据权利要求2所述的智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，所述计算出第二帧下相机相对于第一帧的相对位姿包括：根据第一帧和第二帧图像上的对应匹配特征点集，计算出两帧图像间的基础矩阵；根据基础矩阵和相机的内参数，计算得到本质矩阵；对本质矩阵采用奇异值分解，得到所述第二帧下相机相对于第一帧的
\t相对位姿。4.根据权利要求1-3中任一所述的智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，所述使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿包括：对图像的当前帧采用ORB算法栅格化提取图像特征点和计算描述子；采用恒定速度运动模型，估计当前帧对应相机位姿，将上一帧图像所有地图点投影到当前图像帧上，进行特征点匹配，并将匹配成功的上一帧地图点赋值给当前帧相应的特征点；采用LM算法和Huber估计更新当前帧位姿和当前帧地图点；根据更新后的位姿，将局部关键帧所有地图点投影到当前图像帧上，并进行特征点匹配，匹配成功后，将匹配成功的所有地图点赋值给当前帧相应的特征点，并使用LM算法和Huber估计重新更新当前帧位姿和当前帧地图点。5.根据权利要求4所述的智能手机单目和IMU融合的稳定运动跟踪方法，其特征在于，所述使用ORB算法实时匹配和并行局部关键帧建图的方式进行视觉跟踪，得到视觉位姿还包括：根据时间间隔情况和/或当前帧地图点个数来判断是否需要增加关键帧，如果离上次增加关键帧超过一定时间后或者当前帧的地图点数小于阈值，则增加新的关键帧；判断当前帧是否为新的关键帧，如果是，则增加新的地图点，将新的关键帧无地图点的所有特征点与局部关键帧中的所有特征点进行特征点匹配，匹配成功后3D重构得到新的地图点；局...

【专利技术属性】
技术研发人员：邓欢军，方维，李根，乔羽，古鉴，
申请(专利权)人：北京暴风魔镜科技有限公司，
类型：发明
国别省市：北京;11