基于点、线特征融合的vSLAM实现方法及系统技术方案

本发明专利技术公开了一种基于点、线特征融合的vSLAM实现方法及系统。包括步骤S110、获取目标场景的图像帧序列；步骤S120、对各帧图像进行预处理；步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；步骤S140、基于环境地图进行跟踪，并对当前帧图像的位姿进行估计；步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150；步骤S160、执行局部地图线程的步骤；步骤S170、执行闭环检测线程的步骤；步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vSLAM在复杂、低纹理场景下存在的不足。

【技术实现步骤摘要】
基于点、线特征融合的vSLAM实现方法及系统
本专利技术涉及视觉同步定位与地图构建(SLAM)领域，特别涉及一种基于点、线特征融合的vSLAM实现方法以及一种基于点、线特征融合的vSLAM实现系统。
技术介绍
同步定位与地图构建(simultaneouslocalizationandmapping,SLAM)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。早期的SFM技术一般是离线处理的，后来随着技术的发展出现实时的SFM技术，可以归于SLAM的范围。V-SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位,并同时构建环境地图,其基本原理为多视图几何原理。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数C1...Cm，以及场景三维结构X1...Xn；其中每个相机运动参数Ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵Ri和一个三维位置变量Pi。由于基于特征的V-SLAM需要进行图像特征的匹配，因此其稳定性严重依赖于场景特征的丰富程度。当场景中纹理信息缺失时或相机快速运动导致图像模糊时，点特征的数量往往较少，本文档来自技高网...

【技术保护点】
1.一种基于点、线特征融合的vSLAM实现方法，其特征在于，包括：步骤S110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；步骤S120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；步骤S140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；步骤S150、判断当前帧图像是否满足关键帧条件，若是，则...

【技术特征摘要】
1.一种基于点、线特征融合的vSLAM实现方法，其特征在于，包括：步骤S110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；步骤S120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；步骤S140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150；步骤S160、执行局部地图线程的步骤；步骤S170、执行闭环检测线程的步骤；步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。2.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S120包括：采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：两段线特征的方向向量夹角小于两段线特征的长度比值两段线特征的重叠区域长度两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；其中，为两段线特征所对应的方向向量夹角的最大阈值；min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；loverlap为两段线特征的重叠区域长度；β为两段线特征的重叠区域长度的阈值；ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。3.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S130包括：根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。4.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S140包括：分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿；其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为Huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。5.根据权利要求1所述的vSLAM实现方...

【专利技术属性】
技术研发人员：王行，周晓军，杨淼，李朔，李骊，盛赞，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11