本公开实施例是关于一种基于多立体视觉惯性紧耦合的自主定位方法。该方法包括：分别对每个立体相机的图像信息和IMU信息进行预处理；基于与先前图像帧的视差计算和特征点跟踪的质量，选择新的多视图关键帧。使用PnP求解初始关键帧位姿，并根据特征点的状态信息筛选出图像特征点信息。通过不断迭代更新，获得高质量的图像特征信息和准确的多视图关键帧位姿；最后计算IMU残差和多立体视觉重投影残差，建立非线性优化模型求解位姿。本公开实施例实现了任意数量的多立体视觉惯性紧耦合定位。当视觉定位方法在处理局部遮挡、光照变化、纹理不足等具有挑战性的视觉场景时失效时，仍能正常工作输出可靠的定位结果。
【技术实现步骤摘要】
本公开实施例涉及制导，尤其涉及一种基于多立体视觉惯性紧耦合的自主定位方法。
技术介绍
1、同时定位与建图（simultaneous localization and mapping，slam）技术是智能自主载体在执行任务目标时的核心技术。近年来，这一技术经过广泛研究和应用，已成功应用于微型无人机、智能驾驶、虚拟现实和增强现实等多个领域。
2、由于视觉相机和惯性测量单元（inertial measurement unit，imu）的轻便、低功耗、功能互补等优势，基于视觉惯性融合的方法逐渐成为主流。然而，在处理具有挑战性的视觉场景时，例如纹理不足、重复结构、照明变化或局部遮挡等方面，传统单个视觉相机的局限性可能导致在缺乏可用视觉信息的情况下，定位结果发散。因此，引入多立体相机视觉与imu信息融合成为解决方案。多立体相机的引入不仅能够捕捉更多的视觉信息，还提供冗余优势，从而在具有挑战性的视觉场景中增强了系统的鲁棒性。然而，需要注意的是，多立体相机的使用也伴随着额外的计算负担。此外，在不断变化的视觉环境中，低质量特征信息的集成直接影响系统的稳定性。
技术实现思路
1、为了避免现有技术的不足之处，本申请提供一种基于多立体视觉惯性紧耦合的自主定位方法，用以解决现有技术中存在多立体相机的使用伴随着额外的计算负担，且在不断变化的视觉环境中，低质量特征信息的集成也直接影响系统的稳定性的问题。
2、根据本公开实施例，提供一种基于多立体视觉惯性紧耦合的自主定位方法，该方法包括：</p>3、对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息；其中，图像信息包括左目图像和右目图像，图像特征点对包括左目图像特征点和右目图像特征点；
4、对imu信息进行预积分处理，以得到imu预积分；
5、根据图像特征点对，更新最新多视图关键帧；
6、基于最新多视图关键帧和深度信息，利用pnp算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化；
7、根据imu预积分计算imu残差，根据图像特征信息和关键帧位姿计算多立体视觉重投影残差；
8、根据imu残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果。
9、进一步的，对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息的步骤中，包括：
10、针对每一立体相机，分别对立体相机的左目图像和右目图像进行特征点提取，以得到左目图像特征点和右目图像特征点；
11、利用光流法对前一帧左目图像中的左目图像特征点进行跟踪匹配，且对当前帧左目图像中的左目图像特征点和右目图像特征点进行跟踪匹配，以得到匹配完成的图像特征点对；
12、通过立体几何约束进行特征点三角化以获取图像特征点对的深度信息。
13、进一步的，根据图像特征点对，得到最新多视图关键帧的步骤中，包括：
14、同步所有立体相机的时间戳，将同一时刻的不同立体相机的图像信息视为通用图像帧；
15、计算所有被跟踪的图像特征点对在当前通用图像帧和最新多视图关键帧之间的平均视差；
16、若平均视差大于第一预设阈值，则将当前通用图像帧更新为最新多视图关键帧。
17、进一步的，若当前通用图像帧的跟踪的图像特征点对的总数小于第二阈值，则将当前通用图像帧更新为最新多视图关键帧。
18、进一步的，基于最新多视图关键帧和深度信息，利用pnp算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化的步骤中，包括：
19、针对一组图像特征点对，基于深度信息，利用pnp算法求解最新多视图关键帧的位姿，并与imu联合初始化得到imu加速度计与陀螺仪的偏置；
20、遍历当前通用图像帧中各个立体相机的图像信息中的图像特征点对，若图像特征点对被连续追踪到的多视图关键帧的数量大于预设值，则计算图像特征点对的状态信息；
21、根据图像特征点对的状态信息计算各个立体相机图像特征点对的状态信息平均值，并根据图像特征点对的状态信息平均值对求解结果进行筛选，得到当前通用图像帧的图像特征信息；
22、选择状态信息平均值最小对应的立体相机图像中的图像特征点对进行下个多视图关键帧位姿求解；
23、重复进行筛选，以遍历所有最新多视图关键帧，得到所有图像特征信息和所有关键帧位姿，以完成初始化。
24、进一步的，根据imu残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果的步骤中，包括：
25、构建滑动窗口，根据滑动窗口内所有最新多视图关键帧的位置、速度、姿态、加速度计偏置、陀螺仪偏置、各个相机与imu之间的转换矩阵和所有立体相机图像的图像特征信息的逆深度构成待优化状态量；
26、根据待优化状态量、imu残差和多立体视觉重投影残差，构建紧耦合优化模型；
27、利用列文伯格-马夸尔特法对紧耦合优化模型求解，以得到载体的最优位姿。
28、本公开的实施例提供的技术方案可以包括以下有益效果：
29、本公开的实施例中，通过上述基于多立体视觉惯性紧耦合的自主定位方法，一方面，通过对任意多立体相机的图像信息与imu信息进行紧耦合优化，有效实现了任意数量的多立体视觉惯性紧耦合定位。通过充分利用载体在不同方向上的环境信息，使系统能够更精准地定位。另一方面，根据特征点的状态信息对特征点进行筛选，通过不断迭代更新，获取高质量的图像特征信息。不仅有效减少了不必要的计算冗余消耗，减轻了多相机系统的计算负担，而且在多立体视觉惯性紧耦合优化中，基于不同图像特征点的质量自适应地分配各个视觉残差权重，从而实现了更高的系统定位精度。该方法使系统更灵活适应不同环境条件，提高了定位的鲁棒性。
本文档来自技高网...
【技术保护点】
1.一种基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，该方法包括：
2.根据权利要求1所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息的步骤中，包括：
3.根据权利要求2所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，根据图像特征点对，得到最新多视图关键帧的步骤中，包括：
4.根据权利要求3所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，若当前通用图像帧的跟踪的图像特征点对的总数小于第二阈值，则将当前通用图像帧更新为最新多视图关键帧。
5.根据权利要求4所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，基于最新多视图关键帧和深度信息，利用PnP算法求解最新多视图关键帧，并根据图像特征点对的状态信息对求解结果进行筛选，通过不断迭代更新，得到图像特征信息和所有关键帧位姿，以完成初始化的步骤中，包括：
6.根据权利要求5所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，根据IMU残差和多立体视觉重投影残差构建紧耦合优化模型，对紧耦合优化模型进行求解，以得到载体的定位结果的步骤中，包括：
...
【技术特征摘要】
1.一种基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，该方法包括：
2.根据权利要求1所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，对多个立体相机的图像信息进行提取与匹配，以得到若干组匹配完成的图像特征点对，并通过立体几何约束获取图像特征点对的深度信息的步骤中，包括：
3.根据权利要求2所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，根据图像特征点对，得到最新多视图关键帧的步骤中，包括：
4.根据权利要求3所述基于多立体视觉惯性紧耦合的自主定位方法，其特征在于，若当前通用图像帧的跟踪的图像特征...
【专利技术属性】
技术研发人员：张通，许建宇，沈昊，杨韬，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。