本发明专利技术涉及视觉惯导里程计优化技术领域，提供一种自适应的视觉惯导里程计输出方法。包括：采集数据；对视觉图像特征进行前端跟踪对齐；选取相邻两帧视觉图像组成第一图像集并进行特征点法匹配与直接法对齐，获得第一结果集；对其中一帧图像进行模糊处理与光照变化处理，与另一帧组成第二图像集，再次特征点法匹配与直接法对齐，获得第二结果集；将两结果集进行深度学习，获得自适应融合网络；在滑动窗口内以视觉特征残差、惯导数据残差及先验残差为多目标组建目标函数，并通过自适应融合网络进行数据融合及求解；根据优化结果，视觉惯导里程计进行位姿输出。本发明专利技术不仅能够自适应调整特征点法及直接法融合的权重，并且提升了定位精度。
1、视觉惯导里程计（visual inertial odometry，简称vio）是一种用于定位和导航的技术，它通过融合视觉传感器和惯性测量单元（inertial measurement unit，简称imu）的信息估计移动设备的位姿（位置和方向）。这种技术通常用于机器人、自动驾驶车辆、虚拟现实头盔和无人机等设备中，以帮助它们在没有gps信号或有限gps信号的情况下准确地了解它们的位置和运动状态。根据视觉残差的计算方式，可以将vio分为直接法vio和特征点法vio，其中直接法vio使用图像中的像素信息计算光度残差，实现相机的运动估计，而特征点法通过特征点的位置计算重投影残差估计相机的运动。
2、现有的视觉惯导里程计大都采用直接法和特征点法结合的方法，但是无论何种结合方案，一般都是通过某些指标与设定阈值做比较，得出是否切换直接法或特征点法，这些方法都是需要针对某种特定的情况设置合理的阈值，例如跟踪成功的特征的数量和质量反映直接法的有效性，需要根据场景和经验设置不同阈值，才能保证算法的稳定性。无论是通过判断特征点数量还是比较视觉残差的大小，在优化目标中，都只能同时存在一种残差，并且切换的方法，实质上也主要使用其中一种方法，另一种只是在一些情况下参与优化，也就是现有的同时将特征点和直接法残差写入优化目标的方法，缺少精细的融合策略，没有充分考虑直接法和特征点法在不同情况下对结果的贡献，可能导致最终的定位结果有较大的累计误差。
r/>技术实现思路
1、本专利技术旨在至少解决相关技术中存在的技术问题之一。为此，本专利技术提供一种自适应的视觉惯导里程计输出方法。
2、本专利技术提供一种自适应的视觉惯导里程计输出方法，包括：
3、s1：采集视觉惯导里程计的视觉图像及惯导数据；
4、s2：提取所述视觉图像的评价指标，并对所述视觉图像特征进行前端跟踪对齐，所述评价指标包括运动模糊度、纹理清晰度及光照变化；
5、s3：选取前端特征跟踪对齐后的相邻两帧视觉图像组成第一图像集，并对所述第一图像集分别进行特征点法描述子匹配与直接法对齐，获得第一结果集；
6、s4：对第一图像集中的第二帧图像进行模糊处理与光照变化处理，获得第二模糊图像，将所述第二模糊图像与第一图像集中的第一帧图像组成第二图像集，并对所述第二图像集分别进行特征点法描述子匹配与直接法对齐，获得第二结果集；
7、s5：将所述第一结果集与所述第二结果集进行深度学习，获得自适应融合网络；
8、s6：基于滑动窗口以视觉特征残差、惯导数据残差及先验残差为多目标组建目标函数，通过所述自适应融合网络加权融合所述目标函数中的残差信息，并通过非线性优化求解库求解所述目标函数；
9、s7：根据目标函数的优化结果，视觉惯导里程计进行位姿输出。
10、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s1中，所述视觉图像频率稳定，所述惯导数据频率稳定。
11、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s1中还包括：
12、s11：对所述惯导数据进行预积分。
13、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s2中，所述运动模糊度的获得步骤包括：
14、s211：通过傅里叶变换法计算所述视觉图像的幅度谱；
15、s212：计算所述幅度谱的平均值，记为所述运动模糊度；
16、所述纹理清晰度为所述视觉图像的灰度共生矩阵的对比度；
17、所述光照变化的获得步骤包括：
18、s231：将当前帧视觉图像与上一帧视觉图像的特征进行匹配，获得特征匹配关系；
19、s232：根据所述特征匹配关系计算获得所述光照变化。
20、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s2中，所述前端特征包括：
21、fast角点特征，所述fast角点特征用于特征点法匹配，所述fast角点特征中包括brief描述子；
22、shi-tomas角点，所述shi-tomas角点用于直接法跟踪。
23、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s5进一步包括：
24、s51：根据所述第一结果集与所述第二结果集计算获得特征点法下的位置偏差及直接法下的像素梯度偏差；
25、s52：将所述位置偏差及所述像素梯度偏差归一化，获得不确定度真值；
26、s53：将所述第一结果集对应的评价指标及所述第二结果集对应的评价指标作为输入，所述不确定度真值作为标签，通过深度学习网络进行训练，获得自适应融合网络。
27、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s6还包括：
28、s611：对视觉惯导里程计进行视觉运动估计，根据视觉运动估计结果与所述惯导数据计算获得视觉惯导对齐数据；
29、s612：根据所述视觉惯导对齐数据组建滑动窗口。
30、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s6还包括：
31、s621：通过边缘化法，将滑动窗口外的待优化数据转换为所述目标函数的先验分布。
32、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，
33、步骤s6中的所述目标函数的表达式为：
34、
35、其中，为包括位姿、视觉特征逆深度、惯导零偏的待估计系统状态，为滑动窗口内所有惯导数据的集合，为在状态下第个惯导数据的残差，为直接法跟踪获得点的集合，为核函数，为第个跟踪获得点的权重，为第个跟踪获得点的光度残差，为通过描述子匹配获得点的集合，第个描述子匹配获得点的权重，为在状态下第个描述子匹配获得点的重投影残差，为先验误差。
36、根据本专利技术提供的一种自适应的视觉惯导里程计输出方法，步骤s7还包括：
37、s71：根据目标函数的优化结果，视觉惯导里程计进行地图点输出；
38、s72：根据所述位姿输出及所述地图点输出，构建稀疏地图。
39、本专利技术提供的一种自适应的视觉惯导里程计输出方法，同时考虑运动模糊、光照变化、纹理情况的直接法与特征点法自适应融合的vio，相较于按阈值切换的直接法和特征点法的vio，本专利技术不需要事先设定阈值，没有切换的过程，直接法与特征点法的贡献同时作用于优化目标，与半直接法相比，本专利技术的直接法和特征点法在特征跟踪和匹配时互相独立，并在优化目标中同时使用直接法和特征点法的残差，与直接融合直接法和特征点法的方法相比，本专利技术考虑影响直接法和特征点法的环境因素，将这些影响量化，通过深度学习网络学习从运动模糊、光照变化、纹理情况到直接法和特征点法的权重的映射关系，直接作用于优化目标，具体而言每一帧图像的直接法和特征点法在参与融合时，会根据不同的环境，本文档来自技高网...
【技术保护点】
1.一种自适应的视觉惯导里程计输出方法，其特征在于，包括：
2.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S1中，所述视觉图像频率稳定，所述惯导数据频率稳定。
3.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S1中还包括：
4.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S2中，所述运动模糊度的获得步骤包括：
5.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S2中，所述前端特征包括：
6.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S5进一步包括：
7.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S6还包括：
8.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S6还包括：
9.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S6中的所述目标函数的表达式为：
10.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤S7还包括：
...
【技术特征摘要】
1.一种自适应的视觉惯导里程计输出方法，其特征在于，包括：
2.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤s1中，所述视觉图像频率稳定，所述惯导数据频率稳定。
3.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤s1中还包括：
4.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤s2中，所述运动模糊度的获得步骤包括：
5.根据权利要求1所述的一种自适应的视觉惯导里程计输出方法，其特征在于，步骤s2中，所述前端特征...
【专利技术属性】
技术研发人员：苑晶，唐光盛，张雪波，王扬，
申请(专利权)人：南开大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。