面向歧义场景的图像三维重建及定位方法技术

本申请提供了一种面向歧义场景的图像三维重建及定位方法，通过利用影像和影像对匹配关系构建初始视图并进行计算得到相似度树并组成聚类；利用所述聚类和所述聚类之间的匹配关系构成聚类视图；利用改进的

【技术实现步骤摘要】
面向歧义场景的图像三维重建及定位方法、设备及介质


[0001]本申请涉及三维重建
，尤其涉及一种面向歧义场景的图像三维重建及定位方法
、
计算机设备及计算机可读存储介质
。

技术介绍

[0002]基于多视角影像的稀疏三维重建与影像定位是一种基础的计算机视觉技术，旨在通过不同角度下拍摄的影像数据恢复场景的稀疏三维点云结构，同时获得每帧影像拍摄时相机的位姿信息
。
为将多视角影像拍摄到的相同关键点进行数据关联，算法通常依赖于多视角影像的特征点检测与匹配，并在此基础上构建一个称作视图
(view
‑
graph)
的无向加权图结构，以抽象化输入的多视角影像及其之间的匹配关系
。
该视图结构中的节点
(vertex)
对应于影像，节点间的边
(edge)
表达对应影像间的匹配
。
视图的质量直接决定了算法的效率以及最终结果的精度与鲁棒性
。
然而，视图中不可避免地存在错误边，这些错误边主要是由误匹配导致的
。
误匹配的一个主要来源在于，当多视角影像中存在大量重复结构或纹理导致的歧义性
(ambiguous)
场景，例如城市建筑
、
寺庙和办公区域等时，不同的物体有着相似的外观，导致特征难以区分
。
这些错误匹配很难通过对极几何约束检测到，极易导致算法重建结果出现折叠或错位的几何结构
。
[0003]现有对视图进行去歧义的方法主要分为两类：
1)
基于矛盾的视觉信息的方法：根据多视角影像之间特征匹配的一致性，例如多张匹配影像之间背景信息是否一致等，检测潜在的歧义性场景
。
这一类方法存在着一个根本性的局限，即当歧义性场景的视觉矛盾较少或难以察觉时，算法从根源上无法正确区分这些歧义性影像；而当正确匹配的影像间由于视角变化
、
遮挡
、
噪声等因素出现不一致的视觉信息时，算法易过度地删除这些正确匹配边
。2)
基于位姿推断的方法：从位姿而非特征匹配的角度检测潜在的歧义匹配关系，避免了前一种方法由于视角变化产生遮挡导致特征匹配不一致的问题
。
然而，现有基于位姿推断的方法依然存在着许多局限性，例如无法解决平移的尺度不一致问题
、
数据集较大时的效率低下问题
、
过度删除正确匹配关系影响重建完整性等问题
。
因此，目前视图的去歧义方法仍然是尚未解决的难题
。
[0004]因此，如何在在歧义性场景下提高稀疏三维重建和影像定位的效率和鲁棒性是目前亟待解决的技术问题
。

技术实现思路

[0005]本申请提供了一种面向歧义场景的图像三维重建及定位方法及系统，以解决现有图像三维重建方法在歧义性场景下鲁棒性差的技术问题
。
[0006]第一方面，本申请实施方式提供了一种面向歧义场景的图像三维重建及定位方法，所述图像重建及定位方法包括：
[0007]获取全部待输入影像，并对所述全部待输入影像进行特征提取及特征匹配，得到影像和影像对匹配关系，利用所述影像和所述影像对匹配关系构建初始视图，其中，所述初
始视图包含初始节点和初始节点边；
[0008]利用相似度评估方法对所述初始视图进行计算得到相似度树，利用多个所述相似度树构建得到相似度森林；
[0009]利用所述相似度树中的多个叶子节点组成聚类，其中，所述聚类内部的所述初始节点边为类内边，不同所述聚类之间的所述初始节点边为类间边；
[0010]利用所述聚类和所述聚类之间的匹配关系构成初始聚类视图，对所述类内边进行旋转平均得到待删除类内边，删除所述待删除类内边后得到目标聚类视图；
[0011]利用改进的
Kruskal
算法和所述聚类边权重对所述目标聚类视图的类间边进行验证，将验证通过的类间边添加到所述相似度树中得到验证最大生成树
VMST
；
[0012]利用所述初始视图和所述验证最大生成树
VMST
得到其他待验证类间边，利用全局位姿平均技术对所述其他待验证类间边进行旋转一致性校验和平移一致性校验得到可靠类间边；
[0013]利用所述可靠类间边和所述验证最大生成树
VMST
构建得到无歧义视图，其中，所述无歧义视图包含目标节点和目标节点边；
[0014]利用对极几何
、PnP
算法以及光束法平差
BA
方法对所述无歧义视图计算，得到目标稀疏三维点云和目标影像位姿
。
[0015]进一步地，所述利用相似度评估方法对所述初始视图进行计算得到相似度树，利用多个所述相似度树构建得到相似度森林，包括：
[0016]利用相似度评估方法得到所述影像中的最相似影像及相似度测度
(
边权重
)
，利用所述最相似影像以及相似度测度组成初始相似度树，其中，所述初始相似度树包含叶子节点和叶子节点边；
[0017]利用所述叶子节点
、
叶子节点边以及预设叶子节点数量对所述初始相似度树进行切分，得到相似度树，利用多个所述相似度树构建得到相似度森林
。
[0018]进一步地，所述利用所述聚类和所述聚类之间的匹配关系构成初始聚类视图，对所述类内边进行旋转平均得到待删除类内边，删除所述待删除类内边后得到目标聚类视图，包括：
[0019]利用所述聚类和所述聚类之间的匹配关系构成初始聚类视图，其中，所述初始聚类视图包含聚类节点和聚类节点边，利用所述聚类节点和所述聚类节点边得到聚类边权重；
[0020]对所述类内边进行旋转平均得到类内边旋转平均差值，根据所述类内边旋转平均差值和预设类内边旋转平均差值得到待删除类内边，删除所述待删除类内边，得到目标聚类视图
。
[0021]进一步地，所述利用改进的
Kruskal
算法和所述聚类边权重对所述目标聚类视图的类间边进行验证，包括：
[0022]根据聚类边权重大小对所述第二聚类图的类间边依次进行旋转平均得到旋转平均差值；
[0023]若所述旋转平均差值大于预设旋转平均阈值，验证不通过，若所述旋转平均差值不大于预设旋转平均阈值，验证通过并保留所述验证通过的类间边
。
[0024]进一步地，所述利用所述初始视图和所述验证最大生成树
VMST
得到其他待验证类
间边，包括：
[0025]将所述初始视图中的节点边和所述验证最大生成树
VMST
的类间边进行比对，得到其他待验证类间边
。
[0026]进一步地，所述利用全局位姿平均技术对所述其他待验证类间边进行旋转一致性校验和平移一致性校验得到可靠类间边，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向歧义场景的图像三维重建及定位方法，其特征在于，所述面向歧义场景的图像三维重建及定位方法包括：获取全部待输入影像，并对所述全部待输入影像进行特征提取及特征匹配，得到影像和影像对匹配关系，利用所述影像和所述影像对匹配关系构建初始视图，其中，所述初始视图包含初始节点和初始节点边；利用相似度评估方法对所述初始视图进行计算得到相似度树，利用多个所述相似度树构建得到相似度森林；利用所述相似度树中的多个叶子节点组成聚类，其中，所述聚类内部的所述初始节点边为类内边，不同所述聚类之间的所述初始节点边为类间边；利用所述聚类
、
所述聚类之间的匹配关系构成初始聚类视图，对所述类内边进行旋转平均得到待删除类内边，删除所述待删除类内边后得到目标聚类视图；利用改进的
Kruskal
算法和所述聚类边权重对所述目标聚类视图的类间边进行验证，将验证通过的类间边添加到所述相似度树中得到验证最大生成树
VMST
；利用所述初始视图和所述验证最大生成树
VMST
得到其他待验证类间边，利用全局位姿平均技术对所述其他待验证类间边进行旋转一致性校验和平移一致性校验得到可靠类间边；利用所述可靠类间边和所述验证最大生成树
VMST
构建得到无歧义视图，其中，所述无歧义视图包含目标节点和目标节点边；利用对极几何
、PnP
算法以及光束法平差
BA
方法对所述无歧义视图计算，得到目标稀疏三维点云和目标影像位姿
。2.
根据权利要求1所述的面向歧义场景的图像三维重建及定位方法，其特征在于，所述利用相似度评估方法对所述初始视图进行计算得到相似度树，利用多个所述相似度树构建得到相似度森林，包括：利用相似度评估方法得到所述影像中的最相似影像及相似度测度
(
边权重
)
，利用所述最相似影像以及相似度测度组成初始相似度树，其中，所述初始相似度树包含叶子节点和叶子节点边；利用所述叶子节点
、
叶子节点边以及预设叶子节点数量对所述初始相似度树进行切分，得到相似度树，利用多个所述相似度树构建得到相似度森林
。3.
根据权利要求1所述的面向歧义场景的图像三维重建及定位方法，其特征在于，所述利用所述聚类和所述聚类之间的匹配关系构成初始聚类视图，对所述类内边进行旋转平均得到待删除类内边，删除所述待删除类内边后得到目标聚类视图，包括：利用所述聚类和所述聚类之间的匹配关系构成初始聚类视图，其中，所述初始聚类视图包含聚类节点和聚类节点边，利用所述聚类节点和所述聚类节点边得到聚类边权重；对所述类内边进行旋转平均得到类内边旋转平均差值，根据所述类内边旋转平均差值和预设类内边旋转平均差值得到待删除类内边，删除所述待删除类内边，得到目标聚类视图
。4.
根据权利要求1所述的面向歧义场景的图像三维重建及定位方法，其特征在于，所述利用改进的
Kruskal
算法和所述聚类边权重对所述目标聚类视图的类间边进行验证，包括：根据聚类边权重大小对所述第二聚类图的类间边依次进行旋转平均得到旋转平均差
值；若所述旋转平均差值大于预设旋转平均阈值，验证不通过，若所述旋转平均差值不大于预设旋转平均阈值，验证通过并保留所述验证通过的类间边
。5.
根据权利要求1所述的面向歧义场景的图像三维重建及定位方法，其特征在于，所述利用所述初始视图和所述验证最大生成树

【专利技术属性】
技术研发人员：李礼，龚烨，姚剑，周朋伟，
申请(专利权)人：武汉大学深圳研究院，
类型：发明
国别省市：