一种基于深度学习视觉惯性里程检测方法技术

本发明专利技术涉及人工智能技术领域，具体涉及一种基于深度学习视觉惯性里程检测方法，步骤：S1初始化视觉惯性里程计系统，获取相邻两帧关键帧之间的所有图像和IMU信息；S2对IMU数据进行预积分处理，对于视觉数据，则进行特征跟踪和运动估计；S3将IMU数据和视觉数据作为样本输入深度学习神经网络进行学习训练；S4对学习训练后的IMU信息和视觉信息进行联合优化，获取更准确的估计结果。本发明专利技术利用视觉惯性里程计系统，采用预积分算法对IMU数据进行处理，将视觉信息和IMU信息进行联合优化，实现视觉和惯性信息的融合，实现实时性强和定位精度高视觉惯性里程检测，同时采用深度学习保证了过程中特征处理的精确性。中特征处理的精确性。中特征处理的精确性。

【技术实现步骤摘要】
一种基于深度学习视觉惯性里程检测方法


[0001]本专利技术涉及人工智能
，具体涉及一种基于深度学习视觉惯性里程检测方法。

技术介绍

[0002]基于单目相机的视觉里程计体积小、成本低、硬件安装简单,受到了研究人员的广泛关注。但是纯单目视觉没法恢复出尺度信息,限制了其在真实世界中的应用。最近,利用低成本的惯性测量元件来辅助单目相机搭建视觉惯性里程计正成为一种流行趋势。这种视觉惯性系统的优势在于它能够恢复尺度信息，并且能有效地提升运动跟踪地性能，因为它能有效降低因为光照变化,纹理减少或者运动模糊而带来的特征跟踪丢失的影响。
[0003]现有技术中，视觉-惯性的研究取得了可观的进展，但当长期工作于低纹理区域时，相机很难实现精准的跟踪定位，系统精度不能得以保障。考虑到现实场景内除点特征外还存在着大量结构化的线特征，在此基础上结合两种特征模式的VIO系统也逐渐受到了关注，这种VIO系统可以更加鲁棒地提取到场景中的点和线，很大程度上避免了因特征缺失导致的精度发散，在建图方面，稀疏的特征点地图往往无法有效地恢复环境信息，相比之下加入线特征约束的VIO系统可以更加细致的还原周围场景，建立的地图更为直观，这对导航、避障和场景重构具有非常重要的意义。

技术实现思路

[0004]针对现有技术的不足，本专利技术公开了一种基于深度学习视觉惯性里程检测方法，用于解决视觉信息经常受到限制，接近的障碍物遮挡了大部分场景，无结构的表面常常缺乏视觉线索，重复的纹理使寻找对应关系复杂化的问题。
[0005]本专利技术通过以下技术方案予以实现：
[0006]本专利技术公开一种基于深度学习视觉惯性里程检测方法，其特征在于，所述方法包括以下步骤：
[0007]S1初始化视觉惯性里程计系统，获取相邻两帧关键帧之间的所有图像和IMU信息；
[0008]S2对IMU数据进行预积分处理，对于视觉数据，则进行特征跟踪和运动估计；
[0009]S3将S2中的IMU数据和视觉数据作为样本输入深度学习神经网络进行学习训练；
[0010]S4对学习训练后的IMU信息和视觉信息进行联合优化，获取更准确的估计结果。
[0011]更进一步的，所述方法中，对视觉和惯性信息联合优化过程中，需要计算IMU观测残差及其协方差，并基于该算法计算优化过程中所需的IMU观测残差及协方差。
[0012]更进一步的，对IMU数据进行预积时，分算法要包含MU建模、运动学模型、MU预积分、噪声传播模型和漂移更新。
[0013]更进一步的，所述S2中，在对线特征进行匹配时，在获得了线特征后将其与其它图像中的线段进行匹配，将线段分为几个子区间后计算各个子区间内像素梯度的均值和标准差并进行对比，完成线段的匹配。
[0014]更进一步的，在对线特征进行匹配时，从图像中选取比较具有代表性的特征进行匹配，其中特征指图像中一些突出或者特别的地方，在相机视角发生小幅度变化时保持不变，可在不同的图像中检测到它们。
[0015]更进一步的，对线特征进行匹配时，包括以下步骤：
[0016]T1在图像中选取像素p，假设其亮度为I；
[0017]T2设定阈值T，以像素p为中心，选取半径为3的圆上的16个像素点；
[0018]T3若选取的圆上有N个连续的亮度大于I+T或者小于I-T的点,则将像素p认定为特征点；
[0019]T4循环以上步骤，对每一个像素执行相同的操作。
[0020]更进一步的，所述方法中，在联合优化环节，将视觉信息和IMU信息进行融合，通过优化获得相机的位姿估计，并定义优化过程中关键帧时刻系统的状态向量进行求解。
[0021]本专利技术的有益效果为：
[0022]本专利技术利用视觉惯性里程计系统，采用预积分算法对IMU数据进行处理，将视觉信息和IMU信息进行联合优化，实现视觉和惯性信息的融合，实现实时性强和定位精度高视觉惯性里程检测，同时采用深度学习保证了过程中特征处理的精确性。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是一种基于深度学习视觉惯性里程检测方法原理步骤图。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]实施例1
[0027]本实施例公开如图1所示的一种基于深度学习视觉惯性里程检测方法，包括以下步骤：
[0028]S1初始化视觉惯性里程计系统，获取相邻两帧关键帧之间的所有图像和IMU信息；
[0029]S2对IMU数据进行预积分处理，对于视觉数据，则进行特征跟踪和运动估计；
[0030]S3将S2中的IMU数据和视觉数据作为样本输入深度学习神经网络进行学习训练；
[0031]S4对学习训练后的IMU信息和视觉信息进行联合优化，获取更准确的估计结果。
[0032]本实施例中，对视觉和惯性信息联合优化过程中，需要计算IMU观测残差及其协方差，并基于该算法计算优化过程中所需的IMU观测残差及协方差。
[0033]本实施例中，对IMU数据进行预积时，分算法要包含MU建模、运动学模型、MU预积分、噪声传播模型和漂移更新。
[0034]本实施例中，在对线特征进行匹配时，在获得了线特征后将其与其它图像中的线段进行匹配，将线段分为几个子区间后计算各个子区间内像素梯度的均值和标准差并进行对比，完成线段的匹配。
[0035]本实施例中在对线特征进行匹配时，从图像中选取比较具有代表性的特征进行匹配，其中特征指图像中一些突出或者特别的地方，在相机视角发生小幅度变化时保持不变，可在不同的图像中检测到它们。
[0036]本实施例公开对线特征进行匹配时的步骤：
[0037]T1在图像中选取像素p，假设其亮度为I；
[0038]T2设定阈值T，以像素p为中心，选取半径为3的圆上的16个像素点；
[0039]T3若选取的圆上有N个连续的亮度大于I+T或者小于I-T的点,则将像素p认定为特征点；
[0040]T4循环以上步骤，对每一个像素执行相同的操作。
[0041]本实施例中，在联合优化环节，将视觉信息和IMU信息进行融合，通过优化获得相机的位姿估计，并定义优化过程中关键帧时刻系统的状态向量进行求解。
[0042]实施例2
[0043]本实施例公开视觉惯性里程计系统工作时，首先获取相邻两帧关键帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习视觉惯性里程检测方法，其特征在于，所述方法包括以下步骤：S1初始化视觉惯性里程计系统，获取相邻两帧关键帧之间的所有图像和IMU信息；S2对IMU数据进行预积分处理，对于视觉数据，则进行特征跟踪和运动估计；S3将S2中的IMU数据和视觉数据作为样本输入深度学习神经网络进行学习训练；S4对学习训练后的IMU信息和视觉信息进行联合优化，获取更准确的估计结果。2.根据权利要求1所述的基于深度学习视觉惯性里程检测方法，其特征在于，所述方法中，对视觉和惯性信息联合优化过程中，需要计算IMU观测残差及其协方差，并基于该算法计算优化过程中所需的IMU观测残差及协方差。3.根据权利要求1所述的基于深度学习视觉惯性里程检测方法，其特征在于，对IMU数据进行预积时，分算法要包含MU建模、运动学模型、MU预积分、噪声传播模型和漂移更新。4.根据权利要求1所述的基于深度学习视觉惯性里程检测方法，其特征在于，所述S2中，在对线特征进行匹配时，在获得了线特征后将其与其它图像中的线段进行匹配...

【专利技术属性】
技术研发人员：张中，黄俊杰，汪明明，
申请(专利权)人：合肥湛达智能科技有限公司，
类型：发明
国别省市：