一种基于点线融合的视觉SLAM方法技术

一种基于点线融合的视觉SLAM方法，首先输入一幅图像，预测相机位姿，对图像提取特征点，利用多个视角间的时序信息估计并提取特征线。匹配特征点和特征线，在前后帧跟踪特征，建立帧间的关联，然后对当前帧的位姿进行优化，并优化二维特征线，以提升特征线的完整度。判断当前是否为关键帧，对于关键帧，则加入地图中，并更新地图中的三维点和线，对当前关键帧和相邻的关键帧进行联合优化，优化相机的位姿和三维特征。并剔除部分外点，剔除冗余的关键帧。最后对关键帧进行回环检测，若当前关键帧和之前帧为相似场景，则闭合回环，并进行一次全局优化，消除累积误差。本发明专利技术在基于点和线的SLAM系统框架下，利用多个视角图像的时序关系，提升线条提取的速度和特征线的完整度，从而提升位姿精度和地图重建效果。

A vision slam method based on point line fusion

【技术实现步骤摘要】
一种基于点线融合的视觉SLAM方法
本专利技术属于图像处理、计算机图形学和计算机视觉等交叉学科，涉及视觉同步定位与地图构建(SLAM)领域。
技术介绍
同时定位与地图构建(简称SLAM，SimultaneousLocationAndMapping)是一种在未知环境中，进行自身定位并同时建立地图的技术。主要应用在移动机器人、自动驾驶、虚拟现实、增强现实等方面。视觉SLAM主要使用视觉传感器作为输入设备，比如单目相机，双目相机，深度相机等，系统将图像作为输入，输出相机轨迹以及重建的三维地图。主流的视觉SLAM通过对图像提取特征点，利用特征点与相机的位姿以及特征点的三维坐标之间的几何关系，求解相机轨迹和三维地图，比如Raul等人2017年在Robotics上发表的“ORB-SLAM2:AnOpen-SourceSLAMSystemforMonocular,Stereo,andRGB-DCameras”方法。但点特征在光照变化、噪声干扰、运动模糊、弱纹理等场景中表现不佳。所以有些系统采用点和线融合的方式求解SLAM问题。目前较新的系统大多采用L本文档来自技高网...

【技术保护点】
1.一种基于点线融合的视觉SLAM方法，其特征在于：利用帧间时序性关系提取特征信息进行地图重建；设某个三维路标为X，相机在0,1,…,t-2,t-1,t时刻拍摄了t+1张图像，则最近三帧图像所对应的相机位姿可表示为T

【技术特征摘要】
1.一种基于点线融合的视觉SLAM方法，其特征在于：利用帧间时序性关系提取特征信息进行地图重建；设某个三维路标为X，相机在0,1,…,t-2,t-1,t时刻拍摄了t+1张图像，则最近三帧图像所对应的相机位姿可表示为Tt-2,Tt-1,Tt，该三维路标X所对应的特征点为xt-2,xt-1,xt，将帧间时序性关系与通用的视觉SLAM问题的数学模型相结合，得到贝叶斯概率表示为P(xt|Tt,X,xt-1)的特征观测模型；基于得到的贝叶斯概率表示为P(xt|Tt,X,xt-1)的特征观测模型确定计算流程；整个系统的计算流程分为特征跟踪、局部建图、回环闭合三个模块。


2.根据权利要求1所述的一种基于点线融合的视觉SLAM方法，其特征在于：利用帧间时序性关系提取及优化特征信息进行地图重建的具体步骤为：
步骤1，输入图像:使用相机拍摄图像，并将每一帧图像依次输入系统中；
步骤2，特征跟踪:
步骤2.1，预测相机位姿，并提取特征点和特征线:根据前两帧的相机位姿，预测当前帧的相机位姿Tt：






其中，为第t-2帧相机到第t-1帧相机的相对位姿，假设帧间运动是平缓的，并将该项作为第t-1帧到第t帧的相对位姿的估计值,由此得出当前帧的相机位姿；提取图像中的特征点，同时获得特征描述子,将特征点集合记为pt；利用当前帧的特征线的时序关系和预测的相机位姿辅助提取图像中的特征线；对于第一帧图像和初始化或重定位之后的5帧图像，采用LSD算法对图像提取特征线；对于之后输入的图像，利用当时已经存在的特征线序列辅助提取线段，每个特征线序Nl条分别来自不同图像的二维线段，这些线段来自于同一条三维线段的不同投影；对于上一帧得到的每一条特征线，线段的每个参数相对于时间的变化量为使用特征线的长度、角度、中心点的X和Y坐标四个参数值描述一条线段，那么在当前图像中该线段的预测结果为：



其中，lt-1为上一幅图像中的二维线段，同时使用重投影的方式对线段进行预测；记lt-1反投影的三维线段为L，根据投影几何关系，预测当前图像中该线段为：



最后对两种预测结果进行融合，得到最终的预测结果：



在预测结果上采样最少Np个点作为种子，并在图像中提取多条直线，将合并后的直线作为最终的提取结果；
步骤2.2，匹配前后帧的特征点和特征线：对于特征点，利用局部搜索加快匹配速度，首先由前后帧的几何关系，可知



其中，πp表示点的投影函数；将pt-1反投影到三维空间中，再投影到当前图像，得到pt-1对应特征点的估计位置p′t；然后在以p′t为中心，5×5的窗口内搜索匹配点；最终使用双向匹配策略，将互为最佳匹配点的特征集合作为匹配结果；
对于特征线，将上一幅图像中的特征线重投影到当前图像中，得到估计的特征线



其中，πl表示线的投影函数；然后以一定的角度范围作为搜索窗口，匹配二维特征线；最终得到匹配特征线的集合；同时，也根据匹配结果更新特征线序列，将匹配失败的特征线序列从当前帧的记录中移除，将新检测到的特征线序列加入当前帧；
步骤2.3，优化相机位姿：在新图像的几何特征和上一幅图像进行关联之后，对步骤2.1中估计得到的相机位姿，进行优化，重投影得到的特征点pt′应尽可能和匹配的特征点pt重合，特征点的重投影误差采用两点的欧式距离度量；而特征线lt′也应和匹配的特征线lt重合，特征线的重投影误差采用端点到直线的距离进行度量；本方法融合点和线定义位姿优化的最小二乘问题：



其中，ep和el分别为特征点和特征线的重投影误差，其计算公式为：
ep＝pt-πp(pt-1,Tt-1)(9)



式(10)中，和分别为直线lt的两个端点的齐次坐标形式，从而计算出直线lt的端点到重投影直线的距离之和；式(8)中，为特征点的置信度，其表示为：



其中，n为该特征被检测到的次数，t1为可调系数,Σp为该特征点的协方差矩阵，该矩阵和特征点所在OR...

【专利技术属性】
技术研发人员：马伟，谢帅，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11