一种应用于多镜头组合式全景相机的SLAM方法技术

本发明专利技术提出一种应用于多镜头组合式全景相机的SLAM方法，很好地实现了车载多镜头组合式全景相机的自动定位与地图构建功能，达到0.1m级的高定位精度而无需借助昂贵的GPS/IMU组合导航系统。本发明专利技术方法先对多镜头组合设备进行相机检校，然后建立一个并行的三线程，其中位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。

A SLAM Method for Multi-lens Combination Panoramic Camera

The SLAM method applied to multi-lens combined panoramic camera is proposed, which realizes the function of automatic positioning and map construction of vehicle-mounted multi-lens combined panoramic camera, and achieves a high positioning accuracy of 0.1M without the help of expensive GPS/IMU integrated navigation system. The method of the invention first carries out camera calibration for multi-lens combination equipment, and then establishes a parallel three-thread, in which the pose tracking thread mainly completes system initialization, feature extraction, matching and projection on panoramic images, optimization of pose solution and selection of key frames; and the sparse map construction thread is mainly responsible for establishing sparse map points according to the initial pose and matching points, and contrasting each other. The closed-loop correction thread is mainly responsible for detecting whether the motion of the camera has returned to the previous position (i.e. closed-loop), adding closed-loop constraints to correct the position and pose, and global pose and map point optimization (i.e. global beam adjustment).

【技术实现步骤摘要】
一种应用于多镜头组合式全景相机的SLAM方法
本专利技术涉及一种应用于多镜头组合式全景相机的SLAM方法，属于摄影测量与遥感，计算机视觉，机器人等领域。
技术介绍
随着传感器、自动化和平台技术的发展，利用平台上安置的光学或距离传感器，同时实现自我定位与环境感知的智能系统成为摄影测量、计算机视觉和机器人学的新型研究方向；并在移动测图系统、无人驾驶汽车、火星和月球的深空探测、无人机侦察、室内导航等领域发挥着关键的作用。若以光学传感器为主要信息获取源，这种系统通常称为基于视觉的自动定位与地图构建(SimultaneousLocalizationAndMapping,SLAM)。主流的视觉SLAM系统有两种分类模式。一类按照所采用的传感器划分。包括单目SLAM(Mono-SLAM)、双目SLAM(Stereo-SLAM)和4D相机SLAM(RGBD-SLAM)。另一类按照所采用的方法划分，主流是基于点特征的SLAM(feature-basedSLAM)和基于图像自身的SLAM(DirectSLAM)。成熟的、具代表性的SLAM系统如：基于特征点的ORB-SLAM，直接法的LSD-SLAM，将特征点法与直接法混用的SVO、SVO2.0以及RBG-DSLAM的代表作RTAB-MAP，等等。这些主流SLAM架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。单目SLAM视场狭窄，尺度估计受累积误差的影响，较依赖于闭环条件。双目SLAM虽然克服了尺度漂移，但是视差狭窄依然没有改变。若局部成像区域信息较少(即提取其他特征较少)，或者出现较大的视角变化，则会引起跟踪频繁丢失。这也是SLAM技术尚未广泛应用于测绘行业的地面移动测图系统(mobilemappingsystem,MMS)的关键因素。大视场成像设备，如鱼眼镜头和全景镜头，理论上能够克服视场狭窄的问题。全景视觉成像具有360°全视角成像的优势，已经在测绘、机器人、计算机视觉等相关领域中逐步得到应用，如用于城市测图、视频监控、交通监督、虚拟现实、机器人导航、场景重建等。装载于移动测图系统或普通汽车上的全景成像装置通常只被用于街景收集，如谷歌和百度的街景图像，无法实现量测功能；基于全景视觉的几何定位和SLAM也有过很少量的研究，然而，目前尚缺少一套完整的、自动化的解决方案。
技术实现思路
本专利技术的目的就在于克服上述现有技术的不足而提供一种适用于多镜头组合式全景相机的SLAM系统，重点考虑将SLAM技术应用于多镜头组合设备所拍摄的全景影像序列，使其能够完成对全景相机在运动过程中拍摄图像时的定位与稀疏地图的构建。实现本专利技术目的采用的技术方案是：事先对多镜头组合设备进行相机检校，然后建立一个三线程并行运行的系统，三线程分别负责全景图像位姿跟踪，稀疏地图构建以及闭环纠正。位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。以上三个并行线程的具体实现步骤如下，线程1具体包括如下步骤，步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；步骤1.2，采用恒速模型跟踪下一帧地图点，即3D地图点到2D图像的匹配，匹配失败则执行步骤1.3；步骤1.3，采用视觉词袋的方法进行3D地图点到2D图像的匹配，当匹配点数满足一定条件时执行步骤1.4；步骤1.4，采用多视匹配获取当前帧位姿初值并用于匹配，当匹配点数满足一定条件时执行步骤1.5；步骤1.5，当步骤1.2～步骤1.4中的匹配都失败时，进行重定位；步骤1.6，步骤1.2～步骤1.5中任意一步成功即得到当前帧的位姿的初始值，并利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差，统计内点数，若大于内点数阈值a则判定为跟踪成功，若小于内点数阈值a判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5；步骤1.7，正确跟踪当前帧之后，判断当前帧是否作为关键帧；线程2具体包括如下步骤；步骤2.1，更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧；步骤2.2，三角化地图点；步骤2.3，将地图点插入步骤1.1中已构建的局部地图与全局地图；步骤2.4，调用G2O的库建立优化图，并进行局部光束法平差；步骤2.5，剔除误匹配点与冗余关键帧；步骤2.6，再次执行步骤2.4；步骤2.7，更新关键帧与地图点的连接关系，更新局部地图与全局地图；线程3具体包括如下步骤，步骤3.1，计算当前关键帧的BoW向量，用于表示当前帧的场景信息；步骤3.2，选取与当前关键帧相连性最好的n1个关键帧，计算与他们的BoW相似性；步骤3.3，选取步骤3.2中所计算的相似性的最小值minScore，设定判别阈值为n2*minScore；步骤3.4，搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于阈值的设为第一候选关键帧；步骤3.5，逐一计算当前帧与第一候选关键帧相连性最好的n3个关键帧的相似性，累加相似性计算累计得分AccumScore，将n4*AccumScore作为阈值；步骤3.6，选取累计得分大于阈值的关键帧作为第二候选关键帧。步骤3.7，连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有n5个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验，否则删除该候选组；步骤3.8，通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；步骤3.9，依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于n6则剔除此闭环关键帧，继续下一帧的匹配；匹配成功后，计算闭环帧到当前帧的相似变换群，即sim(3)变换，得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。进一步的，所述相机检校采用一种适合于鱼眼相机的高精度模型完成，具体检校模型为，其中，Xd＝(xdyd)T是鱼眼相机坐标，Xr＝(xryr)T是鱼眼相机纠正后坐标，θ和分别是天顶角和水平角，k1，k2，A1，A2，A3，C1，C2为多项式系数，f为镜头焦距，λ为比例系数。与为Kannala提出的通用相机检校模型的多项式；检校具体步骤为，首先获取均匀分布在图像上的一系列纠正前与纠正后的点坐标；其次带入模型求解模型参数：k1，k2，A1，A2，A3，C1，C2，λ以及与的多项式系数；最后通过模型纠正鱼眼图像上任意像素。进一步的，步骤1.1中采用三帧图像进行初始化的具体实现方式如下，确定第一帧为参考帧，提取ORB特征点，等待系统连续传入两帧，进行第1帧与第2帧，第2帧与第3帧的特征匹配，然后结合RANSAC剔除误匹配点，保留3帧共视点，计算1-2帧和2-3帧的本质矩阵E；对1-2、2-3、1-3帧组合分别进行三角化，则每个地图点得到三个值，若这三个值中有任意一个值为无穷本文档来自技高网...

【技术保护点】
1.一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：首先对多镜头组合设备进行相机检校，然后建立如下三个并行线程：线程1，全景图像位姿跟踪线程，用于完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；线程2，稀疏地图构建线程，用于根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；线程3，闭环纠正线程，用于探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。

【技术特征摘要】
1.一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：首先对多镜头组合设备进行相机检校，然后建立如下三个并行线程：线程1，全景图像位姿跟踪线程，用于完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；线程2，稀疏地图构建线程，用于根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；线程3，闭环纠正线程，用于探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。2.如权利要求1所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：三个并行线程的具体实现步骤如下，线程1具体包括如下步骤，步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；步骤1.2，采用恒速模型跟踪下一帧地图点，即3D地图点到2D图像的匹配，匹配失败则执行步骤1.3；步骤1.3，采用视觉词袋的方法进行3D地图点到2D图像的匹配，当匹配点数满足一定条件时执行步骤1.4；步骤1.4，采用多视匹配获取当前帧位姿初值并用于匹配，当匹配点数满足一定条件时执行步骤1.5；步骤1.5，当步骤1.2～步骤1.4中的匹配都失败时，进行重定位；步骤1.6，步骤1.2～步骤1.5中任意一步成功即得到当前帧的位姿的初始值，并利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差，统计内点数，若大于内点数阈值a则判定为跟踪成功，若小于内点数阈值a判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5；步骤1.7，正确跟踪当前帧之后，判断当前帧是否作为关键帧；线程2具体包括如下步骤；步骤2.1，更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧；步骤2.2，三角化地图点；步骤2.3，将地图点插入步骤1.1中已构建的局部地图与全局地图；步骤2.4，调用G2O的库建立优化图，并进行局部光束法平差；步骤2.5，剔除误匹配点与冗余关键帧；步骤2.6，再次执行步骤2.4；步骤2.7，更新关键帧与地图点的连接关系，更新局部地图与全局地图；线程3具体包括如下步骤，步骤3.1，计算当前关键帧的BoW向量，用于表示当前帧的场景信息；步骤3.2，选取与当前关键帧相连性最好的n1个关键帧，计算与他们的BoW相似性；步骤3.3，选取步骤3.2中所计算的相似性的最小值minScore，设定判别阈值为n2*minScore；步骤3.4，搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于阈值的设为第一候选关键帧；步骤3.5，逐一计算当前帧与第一候选关键帧相连性最好的n3个关键帧的相似性，累加相似性计算累计得分AccumScore，将n4*AccumScore作为阈值；步骤3.6，选取累计得分大于阈值的关键帧作为第二候选关键帧；步骤3.7，连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有n5个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验，否则删除该候选组；步骤3.8，通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；步骤3.9，依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于n6则剔除此闭环关键帧，继续下一帧的匹配；匹配成功后，计算闭环帧到当前帧的相似变换群，即sim(3)变换，得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。3.如权利要求1或2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：所述相机检校采用一种适合于鱼眼相机的高精度模型完成，具体检校模型为，其中，Xd＝(xdyd)T是鱼眼相机坐标，Xr＝(xryr)T是鱼眼相机纠正后坐标，θ和分别是天顶角和水平角，k1，k2，A1，A2，A3，C1，C2为多项式系数，f为镜头焦距，λ为比例系数。与为Kannala提出的通用相机检校模型的多项式；检校具体步骤为，首先获取均匀分布在图像上的一系列纠正前与纠正后的点坐标；其次带入模型求解模型参数：k1，k2，A1，A2，A3，C1，C2，λ以及与的多项式系数；最后通过模型纠正鱼眼图像上任意像素。4.如权利要求2所述的一种应用于多镜头组合式全景相机...

【专利技术属性】
技术研发人员：季顺平，秦梓杰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42