基于单目VINS系统的优化方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种基于单目VINS系统的优化方法、装置、存储介质及电子设备。该方法包括：首先，对惯性导航传感器IMU的相关变量进行估计，并将该估计值作为单目VINS系统的初始值。然后，根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对单目VINS系统进行状态估计。这样，将IMU的相关变量引入到单目VINS系统中可以确定出尺度因子，此外，通过建立联合IMU运动模型，对单目VINS系统进行状态估计，可以提高了单目VINS系统的精确度和鲁棒性。

Optimizing Method, Device, Storage Media and Electronic Equipment Based on Monocular VINS System

The present disclosure relates to an optimization method, device, storage medium and electronic device based on a monocular VINS system. The method includes: Firstly, the relevant variables of the inertial navigation sensor IMU are estimated, and the estimated values are taken as the initial values of the monocular VINS system. Then, according to the graph optimization method, a joint IMU motion model is established in the motion tracking thread to estimate the state of the monocular VINS system. In this way, the scale factor can be determined by introducing IMU related variables into the monocular VINS system. In addition, the accuracy and robustness of the monocular VINS system can be improved by establishing a joint IMU motion model and estimating the state of the monocular VINS system.

【技术实现步骤摘要】
基于单目VINS系统的优化方法、装置、存储介质及电子设备
本公开涉及计算机视觉技术和信息融合技术，具体地，涉及一种基于单目VINS系统的优化方法、装置、存储介质及电子设备。
技术介绍
近几年，随着计算机硬件和计算机视觉技术的迅猛发展，移动机器人的同时定位与建图技术(SimultaneousLocalizationandMapping，SLAM)得到了很大的突破，由于单目相机具有体积小且易安装等优点，单目视觉SLAM技术成为了移动机器人主动式定位领域中的研究重点。然而，单目相机本身存在尺度不确定性问题，系统无法正确地度量环境，从而导致其无法应用在实际的导航应用中，而通过融合惯性导航传感器(InertialMeasurementUnit，IMU)的测量信息，将单目SLAM系统改进为单目VINS(VisualInertialNavigationSystem)系统，便可以正确地恢复出尺度因子，同时得到更高的精确度和更强的鲁棒性。
技术实现思路
为了克服现有技术中存在的问题，本公开实施例提供一种基于单目VINS系统的优化方法、装置、存储介质及电子设备。为了实现上述目的，本公开第一方面提供一种基于单目VINS系统的优化方法，包括：对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，所述IMU的相关变量包括IMU的陀螺仪零偏、加速度计零偏和单目VINS系统所在平台的移动速度；根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计。可选地，所述根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计，包括：在运动跟踪线程中，确定单目VINS系统地图是否更新；根据所述单目VINS系统地图是否更新，选择相应的因子图；根据所述因子图，对所述单目VINS系统进行状态估计。可选地，所述对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，包括：通过解耦方式对惯性导航传感器IMU的相关变量进行预积分处理，并将处理所得值作为单目VINS系统的初始值。可选地，所述通过解耦方式对惯性导航传感器IMU的相关变量进行预积分处理，包括：对惯性导航传感器IMU的陀螺仪零偏进行预积分处理；在不考虑加速度计零偏的情况下初步对尺度因子和重力方向进行预积分处理；对所述加速度计零偏进行预积分处理，以及校正更新所述尺度因子和所述重力方向；对线性速度进行预积分处理。可选地，所述方法还包括：根据所述IMU的相关变量的预积分值，在局部地图构建线程中设计所述IMU的状态变量的局部窗口，并构建相应的局部优化因子图，进行状态估计；根据所述尺度因子，在闭合回环线程中进行位姿优化，并构建全局非线性优化的因子图，进行状态估计。可选地，在所述对惯性导航传感器IMU的相关变量进行估计之前，所述方法还包括：确定相邻两关键帧之间的时间间隔；若所述时间间隔大于预设时长，则删除与所述时间间隔对应的相邻两关键帧。本公开的第二方面提供一种基于单目VINS系统的优化装置，包括：IMU的相关变量估计模块，用于对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，所述IMU的相关变量包括IMU的陀螺仪零偏、加速度计零偏和单目VINS系统所在平台的移动速度；第一状态估计模块，用于根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计。可选地，所述第一状态估计模块，包括：确定子模块，用于在运动跟踪线程中，确定单目VINS系统地图是否更新；选择子模块，用于根据所述单目VINS系统地图是否更新，选择相应的因子图；状态估计子模块，用于根据所述因子图，对所述单目VINS系统进行状态估计。可选地，所述IMU的相关变量估计模块还用于通过解耦方式对惯性导航传感器IMU的相关变量进行预积分处理，并将处理所得值作为单目VINS系统的初始值。可选地，所述IMU的相关变量估计模块包括：第一预积分处理子模块，用于对惯性导航传感器IMU的陀螺仪零偏进行预积分处理；第二预积分处理子模块，用于在不考虑加速度计零偏的情况下初步对尺度因子和重力方向进行预积分处理；第三预积分处理子模块，用于对所述加速度计零偏进行预积分处理，以及校正更新所述尺度因子和所述重力方向；第四预积分处理子模块，用于对线性速度进行预积分处理。可选地，所述装置还包括：第二状态估计模块，用于根据所述IMU的相关变量的预积分值，在局部地图构建线程中设计所述IMU的状态变量的局部窗口，并构建相应的局部优化因子图，进行状态估计；第三状态估计模块，用于根据所述尺度因子，在闭合回环线程中进行位姿优化，并构建全局非线性优化的因子图，进行状态估计。可选地，所述装置还包括：确定模块，用于确定相邻两关键帧之间的时间间隔；删除模块，用于若所述时间间隔大于预设时长，则删除与所述时间间隔对应的相邻两关键帧。本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所提供的所述方法的步骤。本公开第四方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的所述方法的步骤。通过上述技术方案，首先，对惯性导航传感器IMU的相关变量进行估计，并将该估计值作为单目VINS系统的初始值。然后，根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对单目VINS系统进行状态估计。这样，这样，将IMU的相关变量引入到单目VINS系统中可以确定出尺度因子，此外，通过建立联合IMU运动模型，对单目VINS系统进行状态估计，可以提高了单目VINS系统的精确度和鲁棒性。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据一示例性实施例示出的一种基于单目VINS系统的优化方法的流程图。图2是根据另一示例性实施例示出的一种基于单目VINS系统的优化方法的流程图。图3是根据一示例性实施例示出的一种在单目VINS系统地图未更新阶段时的因子图的示意图。图4是根据一示例性实施例示出的一种在单目VINS系统地图更新阶段时的因子图的示意图。图5是根据一示例性实施例示出的一种在局部地图构建线程中局部优化因子图的示意图。图6是根据一示例性实施例示出的一种在闭合回环线程中进行位姿优化因子图的示意图。图7是根据一示例性实施例示出的一种在闭合回环线程中进行全局优化因子图的示意图。图8是根据一示例性实施例示出的一种基于单目VINS系统的优化装置的框图。图9是根据一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。请参考图1，图1是根据一示例性实施例示出的一种基于单目VINS系统的优化方法的流程图。如图1所示，该方法可以包括以下步骤。在步骤11中，对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单本文档来自技高网...

【技术保护点】
1.一种基于单目VINS系统的优化方法，其特征在于，包括：对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，所述IMU的相关变量包括IMU的陀螺仪零偏、加速度计零偏和单目VINS系统所在平台的移动速度；根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计。

【技术特征摘要】
1.一种基于单目VINS系统的优化方法，其特征在于，包括：对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，所述IMU的相关变量包括IMU的陀螺仪零偏、加速度计零偏和单目VINS系统所在平台的移动速度；根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计。2.根据权利要求1所述的方法，其特征在于，所述根据图优化求解方法，在运动跟踪线程中建立联合IMU运动模型，对所述单目VINS系统进行状态估计，包括：在运动跟踪线程中，确定单目VINS系统地图是否更新；根据所述单目VINS系统地图是否更新，选择相应的因子图；根据所述因子图，对所述单目VINS系统进行状态估计。3.根据权利要求1所述的方法，其特征在于，所述对惯性导航传感器IMU的相关变量进行估计，并将估计所得值作为单目VINS系统的初始值，包括：通过解耦方式对惯性导航传感器IMU的相关变量进行预积分处理，并将处理所得值作为单目VINS系统的初始值。4.根据权利要求3所述的方法，其特征在于，所述通过解耦方式对惯性导航传感器IMU的相关变量进行预积分处理，包括：对惯性导航传感器IMU的陀螺仪零偏进行预积分处理；在不考虑加速度计零偏的情况下初步对尺度因子和重力方向进行预积分处理；对所述加速度计零偏进行预积分处理，以及校正更新所述尺度因子和所述重力方向；对线性速度进行预积分处理。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据所述IMU的相关变量的预积分值，在局部地图构建线程中设...

【专利技术属性】
技术研发人员：张科伟，苏钰，梁晓妮，孙永文，董印嵩，郭见雷，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京,11