【技术实现步骤摘要】
本申请涉及计算机视觉，特别是涉及一种基于视觉惯性跟踪定位的系统初始化方法、特征跟踪方法、终端设备以及计算机存储介质。
技术介绍
1、视觉惯性跟踪定位系统是计算机视觉、机器人、无人车、三维重建及增强现实/虚拟现实等领域的重要底层技术。视觉惯性跟踪定位系统的快速初始化方法和稳定高精度的特征匹配方案在增强现实和虚拟现实等领域有着重要的实用价值。
2、视觉惯性跟踪定位系统的初始化有较多的状态量需要估计，例如：尺度、重力方向、运动速度、初始相机位姿、陀螺仪和加速度计的偏置量等等。如何快速且鲁棒地进行初始化关系到视觉惯性跟踪定位系统的易用性和稳定性。现有的视觉惯性跟踪定位系统初始化方法都较为复杂，用户需要受到较专业的技术指导才能正常使用，还存在一定概率估计了错误的状态量，导致视觉惯性跟踪定位系统在使用过程中出现某些异常。
技术实现思路
1、本申请提供一种基于视觉惯性跟踪定位的系统初始化方法、特征跟踪方法、终端设备以及计算机存储介质。
2、本申请采用的一个技术方案是提供一种基于视觉惯性跟踪定位的系统初始化方法，所述系统初始化方法包括：
3、获取滑窗内的多帧视觉图像及其陀螺仪数据，所述视觉图像和所述陀螺仪数据为所述基于视觉惯性跟踪定位的系统中的图像采集装置和陀螺仪分别感知的数据；
4、从所述多帧视觉图像中获取两帧视觉初始化帧，利用所述两帧视觉初始化帧获取视觉初始化点三维坐标；
5、利用所述视觉初始化点三维坐标以及所述滑窗内除所述两帧视觉初
6、基于所述陀螺仪数据的预积分结果，设置所述其余视觉图像帧的相机角度；
7、利用每一所述其余视觉图像帧最近的视觉初始化帧的相机位姿，作为每一所述其余视觉图像帧的位姿初值；
8、将所述位姿初值和所述相机角度代入所述第一求解方程，并通过最小化所述第一求解方程中的重投影误差，求解所述滑窗内的多帧视觉图像中首帧以外的所述其余视觉图像帧的相机位姿。
9、其中，所述求解所述滑窗内的多帧视觉图像中首帧以外的所述其余视觉图像帧的相机位姿之后，所述系统初始化方法还包括：
10、利用所述滑窗内首帧视觉图像的相机位姿、所述滑窗内首帧视觉图像以外的其余视觉图像帧的误差项，建立第二求解方程；
11、将所述滑窗内的多帧视觉图像中首帧以外的所述其余视觉图像帧的相机位姿代入第二求解方程，通过最小化所述第二求解方程中的误差项，求解所述滑窗内的多帧视觉图像中首帧以外的所述其余视觉图像帧的优化相机位姿；
12、其中，所述误差项包括重投影误差以及预积分误差。
13、其中，所述建立第二求解方程之前，所述系统初始化方法还包括：
14、获取所述两帧视觉初始化帧的平均视差；
15、利用所述平均视差以及权重误差范围，获取平衡权重；
16、按照所述平衡权重将所述第二求解方程中的预积分误差和所述重投影误差进行加权融合，获得所述误差项。
17、其中，所述利用所述两帧视觉初始化帧获取视觉初始化点三维坐标，包括：
18、基于所述两帧视觉初始化帧的相对角度变换关系以及所述两帧视觉初始化帧中同一匹配点的二维坐标，确定所述两帧视觉初始化帧的相机位姿；
19、利用所述两帧视觉初始化帧的相机位姿，获取所述视觉初始化点三维坐标。
20、其中，所述系统初始化方法还包括：
21、基于所述两帧视觉初始化帧的惯性数据，获取所述两帧视觉初始化帧的相对角度变换关系。
22、其中，所述滑窗内的多帧视觉图像为4帧视觉图像。
23、本申请采用的另一个技术方案是提供一种基于视觉惯性跟踪定位的特征跟踪方法，所述特征跟踪方法应用于通过上述的系统初始化方法初始化后的视觉惯性跟踪定位系统；所述特征跟踪方法包括：
24、获取当前帧图像的特征点和特征描述符，所述特征描述符用于描述图像像素点的局部特征信息；
25、基于所述当前帧图像的特征点判断上一帧图像中是否存在符合光流特性的特征点；
26、若是，则基于所述特征点在所述当前帧图像设置当前帧先验位置和在所述上一帧图像设置上一帧先验位置；
27、在所述当前帧先验位置和所述上一帧先验位置进行所述特征描述符的匹配；
28、在所述特征描述符匹配成功的情况下，将所述特征描述符对应的像素点作为跟踪成功点。
29、其中，所述特征跟踪方法还包括：
30、在所述特征描述符匹配失败的情况下，将所述特征点对应的像素点作为所述跟踪成功点。
31、其中，所述基于所述当前帧图像的特征点判断上一帧图像中是否存在符合光流特性的特征点之前，所述特征跟踪方法还包括：
32、获取所述上一帧图像的第一相机位姿，以及所述上一帧图像到当前帧图像的惯性传感器数据；
33、按照所述第一相机位姿以及所述惯性传感器数据，获取所述当前帧图像的第二相机位姿；
34、按照所述第一相机位姿和所述第二相机位姿将所述上一帧图像的跟踪成功点投影到所述当前帧图像；
35、按照所述上一帧图像的跟踪成功点在所述当前帧图像的投影点所在区域匹配所述特征描述符；
36、将匹配成功的特征描述符对应的像素点作为所述跟踪成功点。
37、本申请采用的另一个技术方案是提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；
38、其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的系统初始化方法，和/或特征跟踪方法。
39、本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的系统初始化方法，和/或特征跟踪方法。
40、本申请的有益效果是：本申请提供的终端设备获取滑窗内的多帧视觉图像及其陀螺仪数据，所述视觉图像和所述陀螺仪数据为所述基于视觉惯性跟踪定位的系统中的图像采集装置和陀螺仪分别感知的数据；从所述多帧视觉图像中获取两帧视觉初始化帧，利用所述两帧视觉初始化帧获取视觉初始化点三维坐标；利用所述视觉初始化点三维坐标以及所述滑窗内除所述两帧视觉初始化帧之外的其余视觉图像帧的重投影误差，建立第一求解方程；基于所述陀螺仪数据的预积分结果，设置所述其余视觉图像帧的相机角度；利用每一所述其余视觉图像帧最近的视觉初始化帧的相机位姿，作为每一所述其余视觉图像帧的位姿初值；将所述位姿初值和所述相机角度代入所述第一求解方程，并通过最小化所述求解方程中的重投影误差，求解所述滑窗内的多帧视觉图像中首帧以外的所述其余视觉图像帧的相机位姿。本申请的系统初始化方法在初始化过程中使用了紧耦合的视觉图像和陀螺仪信息进行三维重建，一方面能够处理小视差的场景，另一方面能够提升三维重建的鲁棒性和精度。
本文档来自技高网...【技术保护点】
1.一种基于视觉惯性跟踪定位的系统初始化方法，其特征在于，所述系统初始化方法包括：
2.根据权利要求1所述的系统初始化方法，其特征在于，
3.根据权利要求2所述的系统初始化方法，其特征在于，
4.根据权利要求1所述的系统初始化方法，其特征在于，
5.根据权利要求4所述的系统初始化方法，其特征在于，
6.根据权利要求1所述的系数初始化方法，其特征在于，
7.一种基于视觉惯性跟踪定位的特征跟踪方法，其特征在于，所述特征跟踪方法应用于通过权利要求1至6任一项所述的系统初始化方法初始化后的视觉惯性跟踪定位系统；所述特征跟踪方法包括：
8.根据权利要求7所述的特征跟踪方法，其特征在于，
9.根据权利要求7或8所述的特征跟踪方法，其特征在于，
10.一种终端设备，其特征在于，所述终端设备包括存储器以及与所述存储器耦接的处理器；
11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至6任一项所述的系统初始
...【技术特征摘要】
1.一种基于视觉惯性跟踪定位的系统初始化方法，其特征在于，所述系统初始化方法包括：
2.根据权利要求1所述的系统初始化方法，其特征在于，
3.根据权利要求2所述的系统初始化方法，其特征在于，
4.根据权利要求1所述的系统初始化方法，其特征在于，
5.根据权利要求4所述的系统初始化方法，其特征在于，
6.根据权利要求1所述的系数初始化方法，其特征在于，
7.一种基于视觉惯性跟踪定位的特征跟踪方法，其特征在于，所述特征跟踪方法应用于通过权利要求1至6任...
【专利技术属性】
技术研发人员：王楠，翟尚进，章国锋，王晓梦，姜翰青，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。