一种视觉里程计的测量方法及视觉里程计技术

本发明专利技术涉及一种视觉里程计的测量方法及视觉里程计，方法包括步骤：将RGB‑D相机数据和IMU数据的时间进行同步，对RGB‑D相机和IMU的采集数据进行预处理，获取系统的状态向量；利用深度信息对RGB‑D相机位姿进行绝对尺度的位姿初始化；对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化；对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。与现有技术相比，本发明专利技术具有提高视觉‑惯性里程计的精度和鲁棒性等优点。

【技术实现步骤摘要】
一种视觉里程计的测量方法及视觉里程计
本专利技术涉及机器人视觉
，尤其是涉及一种视觉里程计的测量方法及视觉里程计。
技术介绍
VO(VisualOdometry，视觉里程计)是vSLAM(VisualSLAM，视觉SLAM)系统中最核心的部分，它是通过相机在运动过程中拍摄的一系列连续的图像来解算出相机的位姿和运动轨迹。然而，只依赖于相机的VO仍存在着许多问题。例如：在纹理少的区域，特征点数量不足，VO无法工作；在相机快速运动时图像模糊，视觉前端提取特征点困难；在动态场景中，移动的物体和行人会导致特征点匹配错误；单目相机无法解决尺度问题等。而IMU(InertialMeasurementUnit，惯性测量单元)则可以很好地捕捉高速运动时相机在三个坐标轴上的加速度和旋转信息，辅助相机的定位；同时，相机的位姿信息也有助于减少IMU漂移的影响；此外，相机和IMU都具有集成度高和轻巧、耐用、低价的优势。因此，将相机信息和IMU信息融合起来，构成VIO(Visual-InertialOdometry，视觉-惯性里程计)，可以使二者的优缺点互补，提高了系统的精准度和可靠性。同时，融合相机与IMU信息的VIO也极大地促进了VI-SLAM(Visual-InertialSLAM)在救援机器人、AR/VR快速3D重建、自动驾驶等方面的应用。目前，主流的VIO框架都是基于单目相机和IMU的融合，其中最具代表性的是VINS-Mono算法，但受限于单目相机的尺度不确定性，该算法在恒定加速度运动条件下会失效，导致视觉-惯性里程计的精度和鲁棒性较差。此外，虽然单目相机位姿的绝对尺度可通过与IMU信息对齐来获取，但IMU通常会受到噪声的干扰，且地面机器人采用的往往是廉价的IMU，对齐的结果较差且不够稳定。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种视觉里程计的测量方法及视觉里程计，通过RGB-D相机和IMU紧耦合的方式在系统的状态向量中直接融入深度信息来解决尺度问题，进而提高视觉-惯性里程计的精度和鲁棒性。本专利技术的目的可以通过以下技术方案来实现：本专利技术提供一种视觉里程计的测量方法，该方法包括如下步骤内容：S1：将RGB-D相机数据和IMU数据的时间进行同步，对RGB-D相机和IMU的采集数据进行预处理，获取系统的状态向量。所述RGB-D相机采集的数据包括彩色图像和深度图像，所述IMU采集的数据包括系统的角速度和加速度。所述系统的状态向量包括位置、方向(姿态或旋转)、速度、加速度bias、陀螺仪bias、特征点的逆深度(深度值的倒数)。对RGB-D相机和IMU的采集数据进行预处理的具体内容为：对RGB-D相机采集的彩色图像提取特征点并进行跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像提取的特征点上；对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量；将RGB-D相机和IMU的状态紧耦合，获取系统的状态向量。S2：利用深度信息对RGB-D相机位姿进行绝对尺度的位姿初始化。进一步地，采用PnP算法对相机位姿进行绝对尺度的初始化。S3：对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化。具体地：对深度信息进行融合，并对融合结果的各特征点判断其是否超出RGB-D相机的测量范围，对超出测量范围的点，采用三角化的方式获取深度值，并设置为优化变量；对测量范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量；随后将优化变量与常量进行局部非线性优化。进一步地，采用Ceres优化器进行局部的非线性优化，该优化采用滑动窗口的形式。进一步地，深度验证的具体内容为：对于某一特征，遍历该特征的所有观测帧，将其3D坐标投影至包含该特征的另一个观测帧的2D平面，计算投影残差，若该残差小于设定阈值，则将该特征点投影到参考平面，获得其深度值；将遍历过程中深度值的均值作为该特征的深度估计。S4：对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。进一步地，采用词袋模型方法进行回环检测。本专利技术另一方面还提供一种视觉里程计，该视觉里程计包括：RGB-D相机，用以获取拍摄对象的彩色图像序列和深度图像序列；IMU，用以测量系统的角速度与加速度；特征处理模块，用以对RGB-D相机采集的彩色图像的特征点进行提取及跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像的特征点上，并对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量，对RGB-D相机处理后的特征点和IMU的状态增量紧耦合生成系统状态向量；初始化模块，用以根据深度图像和彩色图像，采用PnP算法对相机位姿进行绝对尺度的初始化；局部优化模块，用以采用滑动窗口的形式，对深度信息进行局部非线性优化；全局优化模块，用以通过回环检测执行全局的位姿图优化，获取最终相机/IMU位姿。进一步地，所述局部优化模块利用Ceres优化器对深度信息进行局部非线性优化。本专利技术提供的视觉里程计的测量方法及视觉里程计，相较于现有技术至少包括如下有益效果：(1)本专利技术利用RGB-D相机拍摄的深度图像中的深度信息来进行尺度恢复，可以获得绝对尺度，解决了单目视觉里程计尺度不确定的问题，避免了视觉-惯性里程计算法在恒定加速度运动条件下失效的情况，提高了算法的精度和稳定性。(2)本专利技术通过紧耦合的方式融合RGB-D相机和IMU，即图像特征信息直接加入到系统的状态向量中，和IMU的数据一起进行位姿估计并联合优化；与相机和IMU的位姿估计过程相对独立的松耦合方式相比，紧耦合的方式精度更高。(3)本专利技术在融合特征的深度信息时，首先判断特征点是否超出深度传感器的测量范围，对于超出范围的点，使用三角化的方式获得深度值，并设置为优化变量；对于范围内的点，通过深度图像获取深度值，经过深度验证后设置为常量；根据深度传感器测量范围的分情况处理弥补了RGB-D相机测量范围较窄的劣势，同时深度验证算法减小了深度测量的噪声，提高了算法精度。(4)基于RGB-D相机较可靠的深度数据，采用PnP算法通过使用图像中的2D特征及空间中对应的3D点来估计RGB-D相机的位姿，使得初始化结果更加快速和准确。附图说明图1为本专利技术视觉里程计的测量方法的流程示意图；图2为本专利技术方法对系统的状态向量进行局部的非线性优化的流程示意图；图3为本专利技术在系统初始化阶段使用的PnP方法与单目VIO使用的五点法对比图，其中图3a)为依靠RGB-D相机深度数据，利用PnP方法的绝对尺度姿态初始化效果图，图3b)为依靠单目相机利用五点法的绝对尺度姿态初始化效果图；图4为本专利技术实施例测试使用的IntelRealSense公开数据集，其中子图(a)为手持设备的平台，子图(b)为轮式机器人的平台，子图(c本文档来自技高网...

【技术保护点】
1.一种视觉里程计的测量方法，其特征在于，包括下列步骤：/n1)将RGB-D相机数据和IMU数据的时间进行同步，对RGB-D相机和IMU的采集数据进行预处理，获取系统的状态向量；/n2)利用深度信息对RGB-D相机位姿进行绝对尺度的位姿初始化；/n3)对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化；/n4)对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。/n

【技术特征摘要】
1.一种视觉里程计的测量方法，其特征在于，包括下列步骤：
1)将RGB-D相机数据和IMU数据的时间进行同步，对RGB-D相机和IMU的采集数据进行预处理，获取系统的状态向量；
2)利用深度信息对RGB-D相机位姿进行绝对尺度的位姿初始化；
3)对深度信息进行融合及深度验证，随后对系统的状态向量进行局部非线性优化；
4)对局部非线性优化的结果进行回环检测并执行全局的位姿图优化，将全局的位姿图优化结果作为系统位姿估计的最终结果。


2.根据权利要求1所述的视觉里程计的测量方法，其特征在于，所述RGB-D相机采集的数据包括彩色图像和深度图像，所述IMU采集的数据包括系统的角速度和加速度。


3.根据权利要求2所述的视觉里程计的测量方法，其特征在于，步骤1)中，对RGB-D相机和IMU的采集数据进行预处理的具体内容为：
对RGB-D相机采集的彩色图像提取特征点并进行跟踪，将RGB-D相机采集的深度图像中对应位置的深度值附加在彩色图像提取的特征点上；对IMU采集的数据进行预积分处理，获取相邻两帧图像之间的IMU状态增量；将RGB-D相机和IMU的状态紧耦合，获取系统的状态向量。


4.根据权利要求1所述的视觉里程计的测量方法，其特征在于，步骤2)中，采用PnP算法对相机位姿进行绝对尺度的初始化。


5.根据权利要求1所述的视觉里程计的测量方法，其特征在于，步骤3)的具体内容为：
对深度信息进行融合，并对融合结果的各特征点判断其是否超出RGB-D相机的测量范围，对超出测量范围的点，采用三角化的方式获取深度值，并设置为优化变量；对测量范围内的点，通过深度图像获取深度值，...

【专利技术属性】
技术研发人员：陈启军，杜家源，刘成菊，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31