一种面向大规模三维重建的快速鲁棒特征跟踪方法技术

本发明专利技术公开了一种面向大规模三维重建的快速鲁棒特征跟踪方法，属于计算机视觉与计算机图形学领域。该方法对于场景的图像序列，根据像素点之间的对比关系检测图像的特征点；在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；采用AP聚类方法对特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；采用并查集方法，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；采用极线约束方法去除特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。该方法能够从噪声数据中检测足够多的特征点，高效准确地对特征进行跟踪，满足了三维重建的需求，从而简化三维重建的过程，降低了设计人员负担。

A fast robust feature tracking method for large-scale 3D reconstruction

【技术实现步骤摘要】
一种面向大规模三维重建的快速鲁棒特征跟踪方法
本专利技术属于计算机视觉与计算机图形学领域，具体涉及一种面向大规模三维重建的快速鲁棒特征跟踪方法。
技术介绍
大规模场景的快速三维重建在城市规划、游戏和军事仿真、增强现实、虚拟现实、地图导航和无人驾驶中具有重要的作用。由于场景中存在的光照变化、尺度变化、目标之间的遮挡和图像采集设备的不足，导致获取的图像数据存在大量的噪点。在多视图三维重建过程中，现有的特征跟踪方法检测出的特征点数目难以满足三维重建技术的要求，因此，重建出的三维模型存在大量的空洞。为了获得完整的三维模型，需要设计人员手工修复三维模型中的空洞，然而，这些修复工作极其耗时，因此，极大地增加了设计人员的负担。例如论文《GoodFeaturestoTrackforVisualSLAM》中提出的方法主要用于从大量的特征点集合中为同时定位与地图构建系统选取高质量的特征点，不包含特征检测和计算描述子步骤(ZhangG，VelaPA.GoodfeaturestotrackforvisualSLAM.2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEEComputerSociety，2015.)。论文《Metriclearningdrivenmulti-taskstructuredoutputoptimizationforrobustkeypointtracking》中提出的方法主要是采用基于深度学习的方法从大量的图像数据中学习局部特征，只局限于特征检测和计算特征描述子，不包含特征匹配(Zhao，Liming，Li，Xi，Xiao，Jun，etc.Metriclearningdrivenmulti-taskstructuredoutputoptimizationforrobustkeypointtracking.ComputerScience，2014.)。论文《ENFT：EfficientNon-ConsecutiveFeatureTrackingforRobustStructure-from-Motion》提出的特征跟踪方法，主要面向于视频序列，解决视频序列场景下特征跟踪丢失问题(ZhangG，LiuH，DongZ，etal.ENFT：EfficientNon-ConsecutiveFeatureTrackingforRobustStructure-from-Motion[J].IEEETransImageProcess，2015，25(12)：5957-5970.)。论文《Goodfeaturestotrack：Aviewgeometricapproach》提出的方法主要是采用一中基于极限几何方法消除错误匹配的特征点(JiangJ，YilmazA.Goodfeaturestotrack：Aviewgeometricapproach.IEEEInternationalConferenceonComputerVisionWorkshops，ICCV2011Workshops，Barcelona，Spain，November6-13，2011.IEEE，2011.)。综合分析现有技术，现有的方法中，多为了解决跟踪过程中的某个特定问题，例如特征点检测，计算特征描述子，特征匹配和消除错误的特征匹配等，当综合应用这些方法进行特征跟踪时，效率较慢，并且检测出的特征点数目较少，并且特征匹配的准确率也不高，使得重建的三维模型出现大量空洞，增加了设计人员负担。
技术实现思路
技术问题：本专利技术提供一种面向大规模三维重建的快速鲁棒特征跟踪方法，该方法旨在能够从噪声数据中快速地检测出较多的特征点，快速地计算特征描述子，并快速准确进行特征匹配，从而满足三维重建需要，简化三维重建过程，降低设计人员负担。技术方案：本专利技术一种面向大规模三维重建的快速鲁棒特征跟踪方法，包括以下步骤：S1：确定待重建的场景，输入所重建的场景的图像序列；S2：对于输入的场景的图像序列，根据像素点之间的对比关系检测图像的特征点；S3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算制特征描述子；S4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；S5：对于步骤S4得到的特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；S6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。进一步地，所述步骤S2中检测图像的特征点的具体方法为：根据像素点与邻域空间内像素之间的对比关系，将邻域像素划分为若干类，如果存在连续的若干个邻域像素大于或小于中心像素，则认为中心像素点为图像的特征点，否则为图像的非特征点。进一步地，所述步骤S3中，特征描述子为二进制特征描述子。进一步地，计算所述特征描述子的方法为：对于输入的图像序列，计算出对应的差分高斯图像，并在差分高斯空间内，为特征描述子元素赋值，如果邻域空间内的像素大于或等于中心像素的值，则对应的特征描述子元素为1，否则为0，当邻域空间的像素处理完毕后，即可计算出二进制特征描述子。进一步地，所述步骤S4中采用AP聚类算法将特征描述子划分为若干个不同的特征集合。进一步地，所述步骤S5中采用并查集方法对特征集合中的不同特征描述子进行匹配。进一步地，所述步骤S6中根据多视图之间的对极几何原理，采用极线约束方法消除特征跟踪链中的错误匹配点。进一步地，像素之间的对比关系的计算方法为：记O(x，y)表示候选特征点位置，No(x，少)表示O(x，y)的邻域，对于输入的图像I，则公式中，CO→N表示O(x，y)与邻域空间内每个像素之间的对比关系，d和分别表示暗化和不暗化；b和表示像素的亮度值为亮化和不亮化；s表示相似性；Io→n表示O(x，y)与n(x，y)之间的差值，n∈No，C′o→n表示中心像素与领域像素的对比关系，μ表示一个阈值，Io表示中心像素的亮度值，t表示一个阈值。进一步地，检测图像的特征点时，将邻域像素划分为5类。进一步地，差分高斯图像的计算方法为：DOGo(x，y)＝Ro(x，y)*(G(x，y，kσ)-G(x，y，σ))式中，DOGo(x，y)表示差分高斯图像，Ro(x，y)特征点的旋转邻域，其中，表示方差为σ的高斯密度函数；k为常量，用于控制差分高斯空间的尺度空间变化。有益效果：本专利技术与现有技术相比，具有以下优点：(1)本专利技术所提出的面向大规模三维重建的快速鲁棒特征跟踪方法，首先，采用像素点之间的对比关系计算特征点，并在图像的差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子，能够避免图像中噪声的影响和提高特征检测的时间效率，从而能够从充满噪声的图像中快速地检测出足够多的特征点，满足了三维重建过程的需要，使得重建出的场景尽可能少的出现空洞，从而减少了后续技术人员的工作负担。<本文档来自技高网...

【技术保护点】
1.一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，包括以下步骤：/nS1：确定待重建的场景，输入所重建的场景的图像序列；/nS2：对于输入的场景的图像序列，根据像素点之间的对比关系检测图像的特征点；/nS3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；/nS4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；/nS5：对于步骤S4得到的特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；/nS6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。/n

【技术特征摘要】
1.一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，包括以下步骤：
S1：确定待重建的场景，输入所重建的场景的图像序列；
S2：对于输入的场景的图像序列，根据像素点之间的对比关系检测图像的特征点；
S3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；
S4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；
S5：对于步骤S4得到的特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；
S6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。


2.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S2中检测图像的特征点的具体方法为：根据像素点与邻域空间内像素之间的对比关系，将邻域像素划分为若干类，如果存在连续的若干个邻域像素大于或小于中心像素，则认为中心像素点为图像的特征点，否则为图像的非特征点。


3.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S3中，特征描述子为二进制特征描述子。


4.根据权利要求3所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，计算所述特征描述子的方法为：对于输入的图像序列，计算出对应的差分高斯图像，并在差分高斯空间内，为特征描述子元素赋值，如果邻域空间内的像素大于或等于中心像素的值，则对应的特征描述子元素为1，否则为0，当邻域空间的像素处理完毕后，即可计算出二进制特征描述子。


5.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤...

【专利技术属性】
技术研发人员：贾伟，夏伟，曹明伟，赵洋，闵海，余烨，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34