基于光流跟踪和点线特征匹配的双目视觉里程计设计方法技术

本发明专利技术涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，属于机器人定位与导航技术领域。依次包括以下步骤：接收双目相机输入的视觉图像；使用KLT光流法跟踪点特征，并进行点特征数据关联；提取线特征和计算线特征描述子，对所提取出的线特征进行断线合并操作；前后帧之间的点、线特征分别通过光流跟踪匹配以及描述子匹配的方式进行数据关联，求得重投影误差，估计当前帧位姿；判断当前帧是否为关键帧，如果是，则提取点特征并计算点特征的描述子；如果不是，则设定当前帧的参考关键帧；局部关键帧之间的点、线特征均通过描述子匹配的方式进行数据关联，求得重投影误差，再次优化位姿；局部关键帧位姿优化后，调整非关键帧位姿。

【技术实现步骤摘要】
基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
本专利技术设计属于机器人定位与导航
，具体涉及一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法。
技术介绍
视觉里程计(VO)作为导航系统的重要组成部分，在机器人技术中得到了广泛的应用，如无人驾驶汽车、无人机等。在这些应用中，VO的其中一种替代方案是使用惯性测量单元(IMU)，但是这种方案的缺点在于：由于它们无法精确地抵消重力效应，随着时间的推移，会积累大量误差。传统的替代方案还包括了轮式里程计以及基于GPS的导航系统等，其中轮式里程计不能取代VO的原因在于：它有较大的测量误差，长时间使用精度很差；而基于GPS的导航系统方案的缺点在于：这些系统仅限于开放的、不遮挡的室外环境使用，而且还无法估计出它们所连接的设备的方向。VO技术可以很大程度上弥补以上导航方案的缺陷，VO的另一个优点是所需的信息(由相机提供)可用于SLAM和场景识别等其他与导航相关的任务。在现有的VO算法当中，基于光流跟踪的方法，由于不需要计算描述子和匹配描述子，可节省出很大的计算量，算法速度快，较好地满足实时本文档来自技高网...

【技术保护点】
1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：/n步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；/n步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：/n步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；/n步骤2.2：筛选并补充点特征；/n步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；/n步骤3：提取当前帧的线特征：/n步骤3.1...

【技术特征摘要】
1.一种基于光流跟踪和点线特征匹配的双目视觉里程计设计方法，其特征在于步骤如下：
步骤1：使用双目相机采集图像，首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理；
步骤2：使用KLT光流法，对前一帧图像的点特征进行跟踪，并结合双向环形匹配策略建立前后帧之间点特征的数据关联：
步骤2.1：使用KLT光流法，当前帧的左目图像跟踪上一帧的左目图像，进行点特征的跟踪匹配；
步骤2.2：筛选并补充点特征；
步骤2.3：当前帧的左、右目图像之间使用KLT光流法进行点特征跟踪匹配，进而根据例立体视觉算法计算出匹配点对应的三维坐标；
步骤3：提取当前帧的线特征：
步骤3.1：基于LSD线特征提取算法提取线特征，基于LBD线特征描述算法计算线特征描述子；
步骤3.2：对所提取到的线特征，进行断线合并操作；
步骤3.3：当前帧的左、右目图像之间进行线特征匹配；
步骤4：前后帧之间进行线特征的匹配；
步骤5：基于前后帧之间点特征的数据关联结果，采用PNP位姿估计方法获得当前帧的初始位姿估计；
步骤6：利用前后帧之间的点特征和线特征的重投影误差所构建的代价函数，对当前帧的位姿进行优化调整；
步骤7：判断当前帧是否为关键帧，如果是，则执行步骤8；如果不是，则设定上一个关键帧为当前帧的参考关键帧，然后，跳转至步骤12；
步骤8：提取当前帧的点特征：
步骤8.1：采用ORB算法对当前帧进行点特征的提取和描述；
步骤8.2：当前帧的左、右目图像之间的点特征通过描述子匹配的方式，进行稀疏立体匹配；
步骤9：局部关键帧之间进行点、线特征的数据关联；
步骤10：利用局部关键帧之间的点特征和线特征的重投影误差所构建的代价函数，对...

【专利技术属性】
技术研发人员：李慧平，宋晓，严卫生，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61