基于光流跟踪和点线特征匹配的双目视觉里程计设计方法技术

本发明专利技术涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，属于机器人定位与导航技术领域。依次包括以下步骤：接收双目相机输入的视觉图像；使用KLT光流法跟踪点特征，并进行点特征数据关联；提取线特征和计算线特征描述子，对所提取出的线特征进行断线合并操作；前后帧之间的点、线特征分别通过光流跟踪匹配以及描述子匹配的方式进行数据关联，求得重投影误差，估计当前帧位姿；判断当前帧是否为关键帧，如果是，则提取点特征并计算点特征的描述子；如果不是，则设定当前帧的参考关键帧；局部关键帧之间的点、线特征均通过描述子匹配的方式进行数据关联，求得重投影误差，再次优化位姿；局部关键帧位姿优化后，调整非关键帧位姿。

【技术实现步骤摘要】
基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
本专利技术设计属于机器人定位与导航
，具体涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。
技术介绍
视觉里程计(VO)作为导航系统的重要组成部分，在机器人技术中得到了广泛的应用，如无人驾驶汽车、无人机等。在这些应用中，VO的其中一种替代方案是使用惯性测量单元(IMU)，但是这种方案的缺点在于：由于它们无法精确地抵消重力效应，随着时间的推移，会积累大量误差。传统的替代方案还包括了轮式里程计以及基于GPS的导航系统等，其中轮式里程计不能取代VO的原因在于：它有较大的测量误差，长时间使用精度很差；而基于GPS的导航系统方案的缺点在于：这些系统仅限于开放的、不遮挡的室外环境使用，而且还无法估计出它们所连接的设备的方向。VO技术可以很大程度上弥补以上导航方案的缺陷，VO的另一个优点是所需的信息(由相机提供)可用于SLAM和场景识别等其他与导航相关的任务。在现有的VO算法当中，基于光流跟踪的方法，由于不需要计算描述子和匹配描述子，可节省出很大的计算量，算法速度快，较好地满足实时性的要求。但是，光流跟踪法的缺点在于容易受光照影响，弱纹理场景效果不好，并且当相机发生大尺度移动时，无法很好地跟踪；基于点特征的方法，在相机移动尺度过大时，相较于光流跟踪法而言具有较高的鲁棒性，且由于特征点之间是通过描述子的方式进行匹配的，故算法精度较高，但是，点特征法的缺点在于：点特征的提取和匹配计算量较大，花费比较多的时间，且在弱纹理的场景中，无法正常工作；基于线特征的方法，在弱纹理的场景中，相较于点特征法而言具有较高的鲁棒性，但是缺点在于线特征的提取与匹配相较于点特征而言，计算量较大。
技术实现思路
要解决的技术问题为了解决现有的VO技术中采用光流法定位精度不高以及采用点线特征方法实时性不强的问题，本专利技术提供一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。技术方案一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；步骤2.2：筛选并补充点特征；步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；步骤3：提取当前帧的线特征：步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；步骤3.2：对所提取到的线特征，进行断线合并操作；步骤3.3：当前帧的左、右目图像之间进行线特征匹配；步骤4：前后帧之间进行线特征的匹配；步骤5：基于前后帧之间点特征的数据关联结果，采用PNP位姿估计方法获得当前帧的初始位姿估计；步骤6：利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数，对当前帧的位姿进行优化调整；步骤7：判断当前帧是否为关键帧，如果是，则执行步骤8；如果不是，则设定上一个关键帧为当前帧的参考关键帧，然后，跳转至步骤12；步骤8：提取当前帧的点特征：步骤8.1：采用ORB算法对当前帧进行点特征的提取和描述；步骤8.2：当前帧的左、右目图像之间的点特征通过描述子匹配的方式，进行稀疏立体匹配；步骤9：局部关键帧之间进行点、线特征的数据关联；步骤10：利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数，对局部关键帧的位姿进行再次的优化调整；步骤11：对非关键帧的位姿进行调整；步骤12：输出全部图像帧的位姿。所述步骤2中的双向环形匹配策略指的是：将上一帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧左目图像中跟踪匹配到特征点集将当前帧左目图像中的特征点集通过双向KLT光流法的方式在当前帧右目图像中跟踪匹配到临时特征点集X1；将当前帧右目图像中的临时特征点集X1通过双向KLT光流法的方式在上一帧右目图像中跟踪匹配到临时特征点集X2；判断临时特征点集X2中的特征点是否落入原特征点集中的原特征点的领域范围，对落入领域范围以外的特征点从X2中删除，同时根据X1与X2的匹配关系，从X1中删除对应于X2中已删除的那些特征点，从而获得当前帧右目图像中的特征点集所述步骤4中，成功匹配的两条线段l1,l2满足了以下条件：(1)LSD检测的线段具有方向性，两匹配线段的方向向量的夹角小于φ；(2)两线段的长度的比值(3)计算两线段重叠区域的长度loverlap，(4)对应LBD特征向量的距离小于ρT，并且是其中距离最小的。所述步骤7中，关键帧的判断原则为：同时满足下列条件：(1)与上一个关键帧之间至少含有20个图像帧；(2)至少成功追踪到了50个点特征和15条线特征；(3)与上一个关键帧之间的共视点、线特征信息少于75％。有益效果本专利技术所提出的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，首先在基于点特征的视觉里程计算法中引入线特征，即：使用点线特征相结合的特征匹配方式，提高了算法的鲁棒性和定位精度，即使在弱纹理场景中依然表现良好；同时，在基于点线特征的视觉里程计算法中引入光流法跟踪匹配点特征，提高了算法的快速性。该方法兼具到了光流跟踪法、点特征法和线特征法各自的优点，克服了单用光流跟踪法、单用点特征法和单用线特征法的缺点。附图说明图1为本专利技术实施例的流程图图2为双向环形匹配策略图3为线特征合并策略图4为线特征的重投影误差示意图图5为在MH_04_difficult图像序列上的实验结果图6为APE结果比较具体实施方式现结合实施例、附图对本专利技术作进一步描述：实验采用国际公认数据集EuRoC中的MH_04_difficult图像序列对本算法进行测试，实验所用计算机的配置为：CPU为A4-5000，主频为1.50GHz，内存为8GB,系统为Ubuntu16.04。EuRoC数据集是由搭载了视觉、惯导、雷达等传感器的无人机作为数据采集平台，其中，以毫米级的激光雷达所追踪到的定位数据作为无人机的运动真值。MH_04_difficult图像序列是无人机在光线较暗的室内厂房里，以0.93m/s的速度,0.24rad/s的角速度，运动了91.7m所采集到的,其中，相机以20Hz的频率采集数据。图1为本专利技术实施例的流程图。如图1所示，本专利技术所提出的一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，包括以下步骤：步骤1：读取双目图像，对图像进行预处理；从MH_04_diff本文档来自技高网...

【技术保护点】
1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：/n步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；/n步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：/n步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；/n步骤2.2：筛选并补充点特征；/n步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；/n步骤3：提取当前帧的线特征：/n步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；/n步骤3.2：对所提取到的线特征，进行断线合并操作；/n步骤3.3：当前帧的左、右目图像之间进行线特征匹配；/n步骤4：前后帧之间进行线特征的匹配；/n步骤5：基于前后帧之间点特征的数据关联结果，采用PNP位姿估计方法获得当前帧的初始位姿估计；/n步骤6：利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数，对当前帧的位姿进行优化调整；/n步骤7：判断当前帧是否为关键帧，如果是，则执行步骤8；如果不是，则设定上一个关键帧为当前帧的参考关键帧，然后，跳转至步骤12；/n步骤8：提取当前帧的点特征：/n步骤8.1：采用ORB算法对当前帧进行点特征的提取和描述；/n步骤8.2：当前帧的左、右目图像之间的点特征通过描述子匹配的方式，进行稀疏立体匹配；/n步骤9：局部关键帧之间进行点、线特征的数据关联；/n步骤10：利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数，对局部关键帧的位姿进行再次的优化调整；/n步骤11：对非关键帧的位姿进行调整；/n步骤12：输出全部图像帧的位姿。/n...

【技术特征摘要】
1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：
步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；
步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：
步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；
步骤2.2：筛选并补充点特征；
步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；
步骤3：提取当前帧的线特征：
步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；
步骤3.2：对所提取到的线特征，进行断线合并操作；
步骤3.3：当前帧的左、右目图像之间进行线特征匹配；
步骤4：前后帧之间进行线特征的匹配；
步骤5：基于前后帧之间点特征的数据关联结果，采用PNP位姿估计方法获得当前帧的初始位姿估计；
步骤6：利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数，对当前帧的位姿进行优化调整；
步骤7：判断当前帧是否为关键帧，如果是，则执行步骤8；如果不是，则设定上一个关键帧为当前帧的参考关键帧，然后，跳转至步骤12；
步骤8：提取当前帧的点特征：
步骤8.1：采用ORB算法对当前帧进行点特征的提取和描述；
步骤8.2：当前帧的左、右目图像之间的点特征通过描述子匹配的方式，进行稀疏立体匹配；
步骤9：局部关键帧之间进行点、线特征的数据关联；
步骤10：利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数，对...

【专利技术属性】
技术研发人员：李慧平，宋晓，严卫生，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61