基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法技术

本发明专利技术公开了一种基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法，使用RGB‑D相机或双目相机采集视频流；对于每一帧图像，基于相机当前位姿，获取图像中的特征点(包括特征点对应角点的二维像素坐标、三维世界坐标和brief描述子)；对当前帧和上一帧之间的特征点结合GMS匹配过滤器进行匹配；根据对上一帧匹配到的特征点，求解PnP问题，得到当前帧的相机位姿；对最近的连续若干帧使用Bundle Adjustment同时优化相机位姿和特征点三维世界坐标；使用词袋模型计算当前帧的词袋向量，判定是否需要将当前帧保存为关键帧，或者是否出现回环；若出现回环，则使用快速回环优化对相关的关键帧进行优化。本发明专利技术在保证对相机重投影误差足够小的情况下，较传统奇异值分解的方法运算更简便，保证实时性。

【技术实现步骤摘要】
基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法
本专利技术属于机器人自主导航领域，涉及一种基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法。
技术介绍
里程计是一种通过传感器来推算被测物体位姿的技术。目前，各行各业对高精度、强鲁棒性的里程计的需求日益迫切，特别是在矿业、军事、勘探等领域中，人们试图使用各种里程计来实现没有地形特征、地标参照和第三方定位等情况下的环境信息采集和有效的位姿估计。视觉里程计是一种根据视觉信息实现位姿估计的算法。视觉里程计相比于目前常用的激光里程计、惯性导航里程计等具有更低的成本，但由于对应的实现方法不够成熟。在相对复杂的场景下，其鲁棒性、实时性和精度无法达到实现要求。目前常见的视觉里程计方案按所使用的传感器可分为单目视觉里程计、双目视觉里程计和RGB-D(彩色-深度)视觉里程计。其中，双目视觉和RGB-D能够更准确地测算出的深度信息，继而获得误差更小的位姿估计。在现有的视觉SLAM方案中，PTAM作为一个早期的较为成功的单目视觉里程计框架，提供了一个较为完整的通用框架。PTAM创造性的将跟踪和建图本文档来自技高网...

【技术保护点】
1.一种基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法，其特征在于使用RGB-D相机或双目相机采集视频流，对于每一帧图像，基于相机当前位姿，获取图像中特征点对应角点的二维像素坐标、三维世界坐标和brief描述子；对当前帧和上一帧之间的特征点结合GMS匹配过滤器进行匹配；根据对上一帧匹配到的特征点，求解PnP问题，得到当前帧的相机位姿；对最近的连续若干帧使用Bundle Adjustment同时优化相机位姿和特征点三维世界坐标；使用词袋模型计算当前帧的词袋向量，判定是否需要将当前帧保存为关键帧，或者是否出现回环；若出现回环，则使用快速回环优化对相关的关键帧进行优化。/n

【技术特征摘要】
1.一种基于ORB特征点和GMS匹配过滤器的视觉里程计实现方法，其特征在于使用RGB-D相机或双目相机采集视频流，对于每一帧图像，基于相机当前位姿，获取图像中特征点对应角点的二维像素坐标、三维世界坐标和brief描述子；对当前帧和上一帧之间的特征点结合GMS匹配过滤器进行匹配；根据对上一帧匹配到的特征点，求解PnP问题，得到当前帧的相机位姿；对最近的连续若干帧使用BundleAdjustment同时优化相机位姿和特征点三维世界坐标；使用词袋模型计算当前帧的词袋向量，判定是否需要将当前帧保存为关键帧，或者是否出现回环；若出现回环，则使用快速回环优化对相关的关键帧进行优化。


2.根据权利要求1所述的方法，其特征在于具体步骤如下：
步骤1，视觉里程计初始化，获取RGB-D相机或双目相机视频流的当前时刻的帧F0，对于RGB-D相机，包括一幅RGB二维图像和一幅相对应的深度图像；对于双目相机，包括左相机和右相机的RGB二维图像；
步骤2，在F0图像中提取ORB特征点，对于RGB-D相机，在RGB二维图像中寻找ORB特征点，获取图像中ORB特征点的像素坐标，计算ORB特征点的Brief描述子；对于双目相机，获取左相机图像中ORB特征点的像素坐标，计算左相机图像中ORB特征点的Brief描述子，使用光流法寻找右相机图像中与左相机图像中ORB特征点匹配的特征点；
步骤3，假设帧F0对应的相机位姿为{R0＝[1,0,0；0,1,0；0,0,1],t0＝[0；0；0]}，根据这一位姿计算F0中ORB特征点的三维世界坐标；
步骤4，将F0保存为关键帧，保存其位姿和ORB特征点信息；
步骤5，获取RGB-D相机或双目相机视频流的当前时刻的帧Fk，k>0，k为整数；
步骤6，在Fk图像中提取ORB特征点，对于RGB-D相机，在RGB二维图像中寻找ORB特征点，获取图像中ORB特征点的像素坐标，计算ORB特征点的Brief描述子；对于双目相机，获取左相机图像中ORB特征点的像素坐标，计算左相机图像中ORB特征点的Brief描述子，使用光流法寻找右相机图像中与左相机图像中ORB特征点匹配的特征点；
步骤7，基于词袋模型，计算Fk的RGB二维图像的词袋向量Vk，对于一个n维的词袋向量Vk＝{word1,word2,…,wordn}中的任意一个单词wordi有wordi＝valuei*weighti，分别计算Vk和所有关键帧的词袋向量之间的相似度η(Vk,Vi)；若Vk与某关键帧的相似度大于某个阈值，则判断与该关键帧匹配，则说明出现回环，跳到步骤13，否则继续步骤8；
步骤8，基于步骤7计算出的Fk的词袋向量Vk，如果它和所有关键帧的词袋向量之间的相似度η(Vk,Vi)均小于一定阈值，则判定当前帧Fk为新的关键帧；
步骤9，通过计算当前帧Fk的所有ORB特征点描述子与上一帧Fk-1中的ORB特征点描述子的Hamming距离，对两帧中的ORB特征点做匹配，并使用GMS匹配过滤器剔除错误的匹配，对于RGB-D相机，匹配Fk和Fk-1的RGB图像中的ORB特征点；对于双目相机，匹配Fk和Fk-1的左相机图像中的ORB特征点；
步骤10，根据当前帧Fk与上一帧Fk-1匹配的ORB特征点的三维世界坐标，使用PnP算法计算当前帧对应的相机位姿{Rk,tk}；
步骤11，基于当前帧Fk的相机位姿{Rk,tk}，计算当前帧中新的ORB特征点的三维世界坐标；
步骤12，对当前帧Fk到Fk-n+1的连续n帧根据BundleAdjustment的原理同时优化相机位姿和特征点三维世界坐标，0<n<k，若在步骤8中判定当前帧能够作为关键帧，则将当前帧保存为关键帧，保存其位姿和ORB特征点信息，返回步骤5；
步骤13，通过计算当前帧Fk的...

【专利技术属性】
技术研发人员：郭健，吕思聪，钱耀球，朱佳森，邹克宁，何明明，高天山，
申请(专利权)人：南京理工大学，宝时得科技中国有限公司，
类型：发明
国别省市：江苏;32