同时定位与建图技术中的特征点提取与匹配方法及系统技术方案

本发明专利技术涉及一种同时定位与建图技术中的特征点提取与匹配方法及系统。该方法对于视频中关键帧图像的第一帧提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征；对于第二帧至最后一帧中的每一帧，提取k个FAST角点并提取BRIEF特征，将该k个FAST角点作为特征点和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿。该方法让一部分特征点匹配的过程用光流代替以提高运行速度，应用光流法跟踪未提取BRIEF特征的角点，节省了特征点提取描述子的时间。本发明专利技术在保证特征点提取速度的同时能够利于重建更加稠密的点云，并使得特征点的分布更加均匀。

Method and System of Feature Extraction and Matching in Simultaneous Location and Mapping Technology

The invention relates to a method and system for extracting and matching feature points in simultaneous positioning and mapping technology. This method extracts n FAST corners for the first frame of key frame image in video, and extracts BRIEF features from FAST corners larger than k before the response value. For each frame from the second frame to the last frame, extracts K FAST corners and extracts BRIEF features. The K FAST corners are used as feature points and the three-dimensional point cloud reconstructed by the previous frame or the feature points extracted by the previous frame. Match and calculate the camera pose. In this method, optical flow is used to replace part of the feature points matching process in order to improve the speed of operation. Optical flow method is used to track the corner points without extracting BRIEF features, which saves the time of extracting descriptors from feature points. The method ensures the extraction speed of feature points and is beneficial to reconstructing denser point clouds and making the distribution of feature points more uniform.

【技术实现步骤摘要】
同时定位与建图技术中的特征点提取与匹配方法及系统
本专利技术属于信息
，具体涉及一种同时定位与建图技术中的特征点提取与匹配方法及系统。
技术介绍
同时定位与建图(SLAM)技术作为一种对未知场景快速建图和定位的算法近年来受到了学术界和工业界的广泛关注。该技术以拍摄的视频作为输入，能够在实时或者接近实时的时间内重建出视频场景的三维点云和相机参数。随着自动驾驶和增强现实等行业的发展，该技术的应用日益广泛。该技术利用视频的前后帧关系有效增加了特征点匹配的效率，在视频数据集上相比传统的运动恢复结构算法效率明显提高。同时定位与建图最早是机器人学提出的概念。研究机器人学的学者和工程师们希望在实时的条件下完成对机器人的定位，而对机器人所在场景的建图是实现定位不可或缺的条件。在同时定位与建图(SLAM)的第一步，是对视频序列中的每一帧提取特征点，将这些特征点和点云地图或之前的帧匹配，利用多视图几何算法计算当前帧的相机位姿并三角化新的三维点。特征点提取和匹配的质量直接决定了是否能求出高质量的三维点云和精确的相机位姿。图像特征点提取和前后帧之间图像特征点匹配的质量对于精确地计算相机位姿和场景的三维点云有关键的意义。在同时定位与建图算法中，FAST角点(EdwardRostenandTomDrummond.“Machinelearningforhigh-speedcornerdetection”.In:Europeanconferenceoncomputervision,2006:430–443.)及由角点改进而来的ORB特征(EthanRublee,VincentRabaud,KurtKonoligeetal.“ORB:AnefficientalternativetoSIFTorSURF”.In:ComputerVision(ICCV),2011IEEEinternationalconferenceon,2011:2564–2571.)的使用最为广泛。ORB特征将FAST角点检测到的点作为兴趣点，在兴趣点周围提取BRIEF描述子(MichaelCalonder,VincentLepetit,ChristophStrechaetal.“Brief:Binaryrobustindependentelementaryfeatures”.In:Europeanconferenceoncomputervision,2010:778–792.)作为特征描述符，并且在两种算法的基础上进行了改进。和在图像检索、运动恢复结构等算法中广泛使用的SIFT(DavidGLowe.“Objectrecognitionfromlocalscale-invariantfeatures”.In:Computervision,1999.TheproceedingsoftheseventhIEEEinternationalconferenceon,1999:1150–1157.)、SURF(HerbertBay,TinneTuytelaarsandLucVanGool.“Surf:Speededuprobustfeatures”.In:Europeanconferenceoncomputervision,2006:404–417.)等人工设计的特征点相比，FAST角点和BRIEF特征的提取速度十分迅速。BRIEF特征是一种二进制描述子，是一个二进制串，每个数字编码了关键点附近两个点例如p和q的信息，如果点p的亮度大于点q的亮度就编码成1，否则编码成0。BRIEF使用了随机选点的策略，速度很快。在传统的同时定位与建图算法中，一张图像提取特征点的数目一般较少。通行的做法是在图像上提取几百个到一千个特征点。较少的特征点能够保证整个系统运行的实时性，同时这个数目的特征点对于求解相机之间的转移矩阵已经足够了。对于三维重建算法而言，运动恢复结构或者同时定位与建图算法在计算相机参数的同时也会计算出稀疏点云。稀疏点云的稠密程度不足以直接在点云上重建网格，但是在计算稠密点云时稀疏点云会给计算稠密点云这一步提供重要的先验信息。因此更加稠密的稀疏点云重建出的三维模型往往会更加精细。因此需要一种既能够保证点云稠密程度，又能够兼顾算法运行速度的特征点提取方法。图像上的特征点和空间中的三维点能够快速匹配的原因有二：一是可以利用视频的时序信息，估算出新的一帧的大致相机姿态，然后利用这个粗糙的相机姿态建立图像到三维点的投影关系，给特征点匹配提供先验信息；二是同时定位与建图方法使用的特征点一般比较简洁，可以用基于位运算的方法非常快速的计算出两个特征点描述子之间的距离。对传统的运动恢复结构算法而言，由于没有特征点匹配的先验信息，在求解一个三维点和图像特征点的对应关系时就要遍历一遍图像特征点，这样自然会严重影响算法运行的速度。三维点云和图像上特征点匹配的速度差异是同时定位与建图和运动恢复结构算法速度差异主要原因之一。
技术实现思路
本专利技术将针对上述问题提出一种新型的融合特征点提取与匹配方法及系统，该方法在保证特征点提取速度的同时能够利于重建更加稠密的点云，并且本专利技术设计了基于图像网格的快速特征点提取方法，该方法使得特征点的分布更加均匀。本专利技术采用的技术方案如下：一种同时定位与建图技术中的特征点提取与匹配方法，包括以下步骤：1)对于视频中关键帧图像的第一帧，提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征，其中k<n；2)对于视频中关键帧图像的第二帧至最后一帧中的每一帧，执行以下操作步骤：2.1)提取k个FAST角点，对该k个FAST角点提取BRIEF特征；2.2)将该k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿；2.3)如果当前帧是m的整数倍帧，其中m为大于2的自然数，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)个FAST角点；然后继续在当前帧图像上提取新的FAST角点，直到这一帧所有FAST角点总数达到n个，该过程中计算并提取这些新的FAST角点的BRIEF特征；2.4)如果当前帧不是m的整数倍帧，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)FAST角点。进一步地，提取所述FAST角点时，首先构建图像金字塔，然后在图像金字塔上进行FAST角点检测。进一步地，提取所述FAST角点的步骤包括：1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：2.1)将当前一层分割成固定块尺寸大小的像素块；2.2)计算每个像素块的剩余特征点数目；2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；2.3.3)否则，只要特征点数目小于某一个数值p则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；2.3.4)更新当前像素块的剩余特征点数目；3)如果有尚未本文档来自技高网...

【技术保护点】
1.一种同时定位与建图技术中的特征点提取与匹配方法，其特征在于，包括以下步骤：1)对于视频中关键帧图像的第一帧，提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征，其中k

【技术特征摘要】
1.一种同时定位与建图技术中的特征点提取与匹配方法，其特征在于，包括以下步骤：1)对于视频中关键帧图像的第一帧，提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征，其中k<n；2)对于视频中关键帧图像的第二帧至最后一帧中的每一帧，执行以下操作步骤：2.1)提取k个FAST角点，对该k个FAST角点提取BRIEF特征；2.2)将该k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿；2.3)如果当前帧是m的整数倍帧，其中m为大于2的自然数，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)个FAST角点；然后继续在当前帧图像上提取新的FAST角点，直到这一帧所有FAST角点总数达到n个，该过程中计算并提取这些新的FAST角点的BRIEF特征；2.4)如果当前帧不是m的整数倍帧，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)FAST角点。2.根据权利要求1所述的方法，其特征在于，提取所述FAST角点时，首先构建图像金字塔，然后在图像金字塔上进行FAST角点检测。3.根据权利要求2所述的方法，其特征在于，提取所述FAST角点的步骤包括：1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：2.1)将当前一层分割成固定块尺寸大小的像素块；2.2)计算每个像素块的剩余特征点数目；2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；2.3.3)否则，只要特征点数目小于某一个数值p则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；2.3.4)更新当前像素块的剩余特征点数目；3)如果有尚未处理的金字塔的图像层，则循环重复步骤2)。4.根据权利要求3所述的方法，其特征在于，步骤2.1)将当前一层分割成5×5的像素块。5.根据权利要求3所述的方法，其特征在于，步骤2.2)所述剩余特征点的初始化数目由高斯金字塔每一层的目标特征点数目按比例分配得到。6.根据权利要求3...

【专利技术属性】
技术研发人员：李胜，蒙力，陈毅松，汪国平，盖孟，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11