一种融合点线特征的视觉惯性里程计方法技术

本发明专利技术公开了一种融合点线特征的视觉惯性里程计方法，属于三维视觉领域。在基于特征点的视觉惯性里程计系统上，本发明专利技术在前端增加了线特征跟踪模块，在后端实现了与点特征完全平行的线特征管理模块。前端的线特征跟踪模块利用前后帧预积分技术诱导线特征的提取和匹配，大大降低了线特征的跟踪耗时。后端的线特征管理模块包含线特征的生成和剔除，有效控制了地图规模。此外，本发明专利技术基于点线特征的重投影误差与惯导信息的预积分误差项构造了联合损失函数，并通过滑动窗口优化完成了点线特征和惯导信息的紧耦合融合。本发明专利技术在EuRoC数据集上的测试结果表明，定位精度相比于原基于特征点的视觉惯性里程计系统有明显提升，线特征建图达到了较好效果。建图达到了较好效果。建图达到了较好效果。

【技术实现步骤摘要】
一种融合点线特征的视觉惯性里程计方法


[0001]本专利技术涉及三维视觉领域，具体涉及一种融合点线特征的视觉惯性里程计方法。

技术介绍

[0002]同时定位与地图构建算法是一种在搭载传感器的设备和环境发生相对运动的过程中，根据传感器提供的时序上连续的运动和环境测量信息，同时估计自身位姿和构建环境地图的算法。在过去数年中，研究者对视觉惯性SLAM和线特征进行研究的相关工作可分为视觉惯性SLAM的架构、线特征及其三维重构、融合线特征的SLAM系统三方面。
[0003]视觉惯性SLAM可根据传感器信息之间的融合方式分为松耦合和紧耦合两类。在松耦合框架下，视觉信息和惯导信息分别由不同的估计器独立计算出系统状态并融合为最终结果；紧耦合框架下则使用同一估计器处理视觉和惯导信息。相比松耦合框架，紧耦合在估计的早期阶段完成信息融合，具备更优的估计精度和鲁棒性。
[0004]线特征的检测按检测对象可分为参数空间方法和图像空间方法两类。Hough方法是在参数空间中线段检测的经典算法，该算法将图像空间中的点变换到参数空间中，在参数空间中检测到的极值即对应直线段，但其计算复杂性高，并且受限于参数空间的分辨率，将非连续的线段组合在一起会产生大量误检测。LSD算法基于图像空间中的梯度获得线段端点的种子点，避免了Hough变换的计算复杂度，从种子点出发通过区域生长构造直线段的支持域，并通过原始区域和矩形区域的精炼获得最终的线段区域，LSD算法提取的线段区域有良好的方向一致性，较之Hough变换在精度和实时性上均有较大提升。
>[0005]三维线段的参数化表示主要分为两类：非线性的四参数最小化表示方法，以及线性过参数表示方法。非线性最小表示法如规范正交表示的维度由于与三维线段自由度相等，用于非线性优化不会诱发能观性问题，但难以直接表示其几何变换；过参数表示方法如Pl
ü
cker则可以较好地用于变换。在三维线段的重构上，有报道一种Pl
ü
cker坐标系下的Cayley表示方法，这种表示方法能够在满足Pl
ü
cker约束的同时，使参数解耦从而集束优化，但面对非平凡的线段匹配以及平移运动漂移，这种非线性表示方法会出现奇异性。为了解决端点不稳定的问题，现有技术中报道了将平移和旋转解耦并松弛约束条件的方案，但其两条平行线与第三条线正交的假设限制了其实际应用。因此，在本专利技术中，对三维直线仅在估计器内部使用正交表示，三维直线的欧式变换、三角化和投影变换等模块中均使用Pl
ü
cker表示。
[0006]在融合线特征的里程计及SLAM系统上，线特征广泛存在于人工环境中，研究者在SLAM系统中融合线特征可分为两种思路，一类基于人工环境中的线特征具有平行、垂直、共面等等关系的先验，将线特征作为额外的几何约束提升估计器性能，一类则将线特征作为与点特征平行的视觉信息源。前者着重关注几何约束的表示，而不关注线特征本身的跟踪和重构，后者则通常需要在前后端实现完整的特征生成与管理模块，并选择合适的线特征表示。
[0007]尽管视觉惯性SLAM架构已臻成熟，但融合线特征的视觉惯性系统则还未形成稳定
的解决方案，对于将线特征作为平行视觉信息源的视觉惯性系统，尚有下面亟待解决的问题：
[0008]1)LSD和LBD是目前在SLAM系统上应用的主流线特征提取和匹配方法，此类算法面向通用视觉任务设计，无法兼顾SLAM系统的系统实时性，如PL VIO在桌面端的帧率低于10fps，相比于VINS
‑
Mono的30fps，远远难以实际应用。并且在观察者发生持续运动的情况下，线特征极易将发生遮挡分断，LSD和LBD算法无法处理此类误匹配现象。
[0009]2)线特征不具有自然的紧致表示，不恰当的参数化方法这将导致估计器因能观性发生性能退化，基于端点构造误差项的优化方案实际上并未利用线特征的结构信息，针对线特征的表示和优化还须引入合适的参数化方案或者间接表示。
[0010]3)点线特征的融合仍然以滤波为主流方式，非线性优化方法要求维护一个合理的线特征管理模块，否则线特征的加入可能导致系统性能退化和估计器性能下降。
[0011]针对此背景，本专利技术基于VINS
‑
Mono框架和基于LSD算法的线特征跟踪算法，实现了一个可实时且高精度运行的融合线特征的视觉惯性里程计。本专利技术在EuRoC数据集上的测试结果表明，定位精度相比于原基于特征点的同步定位与地图构建系统有明显提升，线特征建图达到了较好效果。

技术实现思路

[0012]本专利技术针对现有技术的不足，实现了一个可实时且高精度运行的视觉惯性里程计，定位精度相比于原基于特征点的同步定位与地图构建系统有明显提升，线特征建图达到了较好效果。
[0013]在视觉惯性初始化过程中，本专利技术使用传统的线特征提取和匹配算法生成线特征的初始地图。在线特征管理模块中，本专利技术利用IMU短时积分构造的前后帧运动信息，诱导线特征的提取和匹配过程，大大降低了线特征匹配的耗时，并实现了较好的匹配鲁棒性，同时在后端依据效果提出了若干线特征的生成和删除策略。最后本专利技术基于滑动窗口和非线性优化理论，实现了一个点线特征和惯导信息紧耦合的估计器。
[0014]为了实现上述目的，本专利技术采用如下技术方案：
[0015]一种融合点线特征的视觉惯性里程计方法，包括以下步骤：
[0016]步骤1：初始化阶段
[0017]根据原始的2D图像信息和IMU测量值，利用一个运动恢复结构例程使位姿和地图坐标信息充分收敛；随后利用视觉系统的精度来补偿惯导的精度，估计出惯导的偏置和重力向量，对惯导参数进行修正；最后得到一个小规模的3D地图；
[0018]步骤2：光流跟踪阶段
[0019]使用KLT光流跟踪像素中的特征点，并将匹配的点特征传输给后端；在光流跟踪中，根据两帧之间的IMU短时积分的结果预测上一帧对应的特征点在当前帧的投影点，以此为初始值参与光流计算；
[0020]步骤3：线特征跟踪阶段
[0021]利用线特征跟踪算法对线特征进行跟踪，包括基于前后帧运动信息的线段预测和基于预测结果的线段检测阶段，并将匹配的线特征传输给后端；考虑到跟踪算法本身引入的累计误差，在线特征跟踪发生退化或者跟踪一定时间以后，将重新提取和匹配线特征，利
用新的线特征继续进行跟踪；
[0022]步骤4：后端估计阶段
[0023]将完成两帧之间的IMU短时积分提供给前端的光流跟踪阶段和线特征跟踪阶段；在接收到来自前端跟踪的匹配点特征对和匹配线特征对后，将视觉信息和IMU信息融合，求解系统运动状态的五元向量组和视觉观测的三维坐标，对初始化的3D地图进行更新；
[0024]在加入新的关键帧时，估计器将实施集束优化，降低系统的累积误差；在滑动窗口中的关键帧达到指定数目后，系统将实施边缘化，控制维护的最大状态数量，从而保持计算实时性。
[0025]进一步的，步骤1中在运动恢复结构例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合点线特征的视觉惯性里程计方法，其特征在于，包括以下步骤：步骤1：初始化阶段根据原始的2D图像信息和IMU测量值，利用一个运动恢复结构例程使位姿和地图坐标信息充分收敛；随后利用视觉系统的精度来补偿惯导的精度，估计出惯导的偏置和重力向量，对惯导参数进行修正；最后得到一个小规模的3D地图；步骤2：光流跟踪阶段使用KLT光流跟踪像素中的特征点，并将匹配的点特征传输给后端；在光流跟踪中，根据两帧之间的IMU短时积分的结果预测上一帧对应的特征点在当前帧的投影点，以此为初始值参与光流计算；步骤3：线特征跟踪阶段利用线特征跟踪算法对线特征进行跟踪，包括基于前后帧运动信息的线段预测和基于预测结果的线段检测阶段，并将匹配的线特征传输给后端；考虑到跟踪算法本身引入的累计误差，在线特征跟踪发生退化或者跟踪一定时间以后，将重新提取和匹配线特征，利用新的线特征继续进行跟踪；步骤4：后端估计阶段将完成两帧之间的IMU短时积分提供给前端的光流跟踪阶段和线特征跟踪阶段；在接收到来自前端跟踪的匹配点特征对和匹配线特征对后，将视觉信息和IMU信息融合，求解系统运动状态的五元向量组和视觉观测的三维坐标，对初始化的3D地图进行更新；在加入新的关键帧时，估计器将实施集束优化，降低系统的累积误差；在滑动窗口中的关键帧达到指定数目后，系统将实施边缘化，控制维护的最大状态数量，从而保持计算实时性。2.根据权利要求1所述的融合点线特征的视觉惯性里程计方法，其特征在于，步骤1中在运动恢复结构例程中加入线特征信息，在所述重力向量的估计过程使用线特征来加快修正过程。3.根据权利要求1所述的融合点线特征的视觉惯性里程计方法，其特征在于，步骤3中采用基于LSD算法的实时线特征跟踪算法，首先基于前后帧之间的运动信息对当前帧的线特征坐标进行预测，再利用预测坐标附近的图像像素信息对...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，陶金昆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：