基于关键子视图的三维图像重建方法技术

本申请提供了一种基于关键子视图的三维图像重建方法，通过对初始影像图进行特征提取及特征匹配得到影像集和影像对匹配关系，并构建初始视图，根据预设替代性指标阈值和预设节点数量阈值对初始视图中的节点进行替代性删除，得到目标节点和目标节点边以构建关键子视图，将关键子视图输入

【技术实现步骤摘要】
基于关键子视图的三维图像重建方法、计算机设备及介质


[0001]本申请涉及三维重建
，尤其涉及一种基于关键子视图的三维图像重建方法
、
计算机设备及计算机可读存储介质
。

技术介绍

[0002]基于多视角影像的稀疏三维重建与影像定位方法是一种基础的计算机视觉技术，此技术旨在通过不同角度下拍摄的影像数据恢复场景的稀疏三维点云结构，并获得每帧影像拍摄时相机的位姿信息
。
为将多视角影像拍摄到的相同关键点进行数据关联，现有算法通常依赖于对多视角影像的特征点进行检测与匹配，并在监测匹配结果的基础上构建一个称作视图
(view
‑
graph)
的无向加权图结构，该视图以抽象化输入的多视角影像及影像之间的匹配关系构成，该视图结构中的节点
(vertex)
对应于影像，节点间的边
(edge)
表达对应影像间的匹配
。
但是直接将该视图输入
SfM
进行三维重建往往效率较低，所以在视图构建阶段，最常用也最为直接有效的效率提升方式是对输入影像数据集进行降采样，即通过删除其中的部分冗余数据以降低
SfM
耗时，这一思路关键在于如何判断影像的冗余性，保持最终重建结果的完整性
。
[0003]对于视频等有序数据而言，最为简单直接的降采样方法为固定频率的影像抽帧，然而，连续帧间的共视大小难以预先确定，因此过高的采样率依然会导致数据冗余，过低的采样率又会导致共视不足重建失败
。
此外，视频帧并非均匀地变化，当视角移动有快慢变化时，固定的采样频率同样无法兼顾三维重建的可靠性与效率
。
[0004]现有对视图进行去冗余的方法主要分为两类：
1)
一是利用影像的序列先验信息进行降采样，以降低数据规模，减少
SfM
算法耗时，但是这些方法的应用场景也因此受到较大限制；
2)
二是通过在视图构建阶段，全局的匹配关系已经被抽象为图结构，可以基于全局信息判断影像在视图中的重要程度，以此在提升算法效率的同时尽可能不牺牲重建结果
。
现有这些方法在稀疏三维重建方面均或多或少存在完整性或者精度上的问题，需要进一步优化
。
[0005]因此，如何在较少耗时的情况下重建出完整性高的稀疏三维点云结构，提高稀疏三维重建和位姿信息获取的效率是目前亟待解决的技术问题
。

技术实现思路

[0006]本申请提供了一种基于关键子视图的三维图像重建方法及系统，以解决现有三维图像重建方法重建效率低的技术问题
。
[0007]第一方面，本申请实施方式提供了一种基于关键子视图的三维图像重建方法，所述图像重建方法包括：
[0008]获取初始影像图，并对所述初始影像图进行特征提取及特征匹配，得到影像集和影像对匹配关系；
[0009]利用所述影像集和所述影像对匹配关系构建初始视图，其中，所述初始视图包含
初始节点和初始节点边；
[0010]根据预设替代性指标阈值和预设节点数量阈值，对所述初始视图中的节点进行替代性删除，得到目标节点，以及所述目标节点之间的目标节点边；
[0011]利用所述目标节点和所述目标节点边构建得到关键子视图，将所述关键子视图输入
SfM
框架中进行稀疏三维重建，得到初始三维点云信息和初始位姿信息；
[0012]利用所述初始三维点云信息
、
初始位姿信息以及所述初始视图进行全局
BA
优化得到目标三维点云，并基于所述目标三维点云完成三维图像的重建
。
[0013]进一步地，所述对所述初始影像图进行特征提取及特征匹配，得到影像集和影像对匹配关系，包括：
[0014]对所述初始影像图进行特征提取，得到所述影像集；
[0015]利用影像索引方法检索所述影像集得到待匹配影像对，对所述待匹配影像对进行特征匹配，得到所述影像对匹配关系
。
[0016]进一步地，所述利用所述影像集和所述影像对匹配关系构建初始视图，其中，所述初始视图包含初始节点和初始节点边之前，包括：
[0017]获取所述影像集中的影像节点，作为所述初始节点；
[0018]基于所述影像对匹配关系以及所述初始节点，构建所述初始节点边
。
[0019]进一步地，所述根据预设替代性指标阈值和预设节点数量阈值，对所述初始视图中的节点进行替代性删除，得到目标节点，以及所述目标节点之间的目标节点边，包括：
[0020]利用所述节点之间的共视覆盖关系和三元节点信息计算得到所有所述节点的替代性指标和最佳替代节点；
[0021]将替代性指标最高的节点确定为被删除节点，重新计算所述被删除节点对应的相关节点的替代性指标，得到除所述被删除节点外所有节点的替代性指标最大值及节点数量；
[0022]当所述替代性指标最大值大于预设替代性指标阈值且所述节点数量大于预设节点数量阈值时，重复执行：将替代性指标最高的节点确定为被删除节点，重新计算所述被删除节点对应的相关节点的替代性指标，得到除所述被删除节点外所有节点的替代性指标最大值及节点数量；
[0023]当所述替代性指标最大值不大于预设替代性指标阈值或所述节点数量不大于预设节点数量阈值时，基于除所有被删除节点外的所有节点得到目标节点，以及所述目标节点之间的目标节点边
。
[0024]进一步地，所述利用所述节点之间的共视覆盖关系和三元节点信息计算得到所有所述节点的替代性指标和最佳替代节点，包括：
[0025]利用所述节点之间的影像对匹配关系构建共视覆盖关系；
[0026]将所述节点的相邻节点作为潜在替代节点，将除所述潜在替代节点之外的所述相邻节点作为验证节点，利用所述节点
、
所述潜在替代节点和所述验证节点构建三元节点信息；
[0027]利用所述共视覆盖关系和所述三元节点信息计算所述节点的所有潜在验证节点的替代性指标，将所述替代性指标最高的潜在替代节点作为所述节点的最佳替代节点
。
[0028]进一步地，所述重新计算所述被删除节点对应的相关节点的替代性指标，还包括：
[0029]将所有所述被删除节点以及所述被删除节点的最佳替代节点添加到所述最佳替代节点的历史节点集中；
[0030]利用所述历史节点集中的历史节点和所述相关节点的潜在替代节点计算得到历史替代性指标，利用所述相关节点的共视覆盖关系和三元节点信息计算相关节点的潜在替代性指标，其中，所述相关节点包括所述被删除节点的父节点和子节点，所述父节点为所述被删除节点的最佳替代节点，所述子节点为将所述被删除节点作为最佳替代节点的节点；
[0031]选择所述历史替代性指标最小值和所述潜在替代指标中的最小值作为所述相关节点的替代性指标
。
[0032]进一步地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于关键子视图的三维图像重建方法，其特征在于，所述基于关键子视图的三维图像重建方法包括：获取初始影像图，并对所述初始影像图进行特征提取及特征匹配，得到影像集和影像对匹配关系；利用所述影像集和所述影像对匹配关系构建初始视图，其中，所述初始视图包含初始节点和初始节点边；根据预设替代性指标阈值和预设节点数量阈值，对所述初始视图中的节点进行替代性删除，得到目标节点，以及所述目标节点之间的目标节点边；利用所述目标节点和所述目标节点边构建得到关键子视图，将所述关键子视图输入
SfM
框架中进行稀疏三维重建，得到初始三维点云信息和初始位姿信息；利用所述初始三维点云信息
、
初始位姿信息以及所述初始视图进行全局
BA
优化得到目标三维点云，并基于所述目标三维点云完成三维图像的重建
。2.
根据权利要求1所述的基于关键子视图的三维图像重建方法，其特征在于，所述对所述初始影像图进行特征提取及特征匹配，得到影像集和影像对匹配关系，包括：对所述初始影像图进行特征提取，得到所述影像集；利用影像索引方法检索所述影像集得到待匹配影像对，对所述待匹配影像对进行特征匹配，得到所述影像对匹配关系
。3.
根据权利要求1所述的基于关键子视图的三维图像重建方法，其特征在于，所述利用所述影像集和所述影像对匹配关系构建初始视图，其中，所述初始视图包含初始节点和初始节点边之前，包括：获取所述影像集中的影像节点，作为所述初始节点；基于所述影像对匹配关系以及所述初始节点，构建所述初始节点边
。4.
根据权利要求1所述的基于关键子视图的三维图像重建方法，其特征在于，所述根据预设替代性指标阈值和预设节点数量阈值，对所述初始视图中的节点进行替代性删除，得到目标节点，以及所述目标节点之间的目标节点边，包括：利用所述节点之间的共视覆盖关系和三元节点信息计算得到所有所述节点的替代性指标和最佳替代节点；将替代性指标最高的节点确定为被删除节点，重新计算所述被删除节点对应的相关节点的替代性指标，得到除所述被删除节点外所有节点的替代性指标最大值及节点数量；当所述替代性指标最大值大于预设替代性指标阈值且所述节点数量大于预设节点数量阈值时，重复执行：将替代性指标最高的节点确定为被删除节点，重新计算所述被删除节点对应的相关节点的替代性指标，得到除所述被删除节点外所有节点的替代性指标最大值及节点数量；当所述替代性指标最大值不大于预设替代性指标阈值或所述节点数量不大于预设节点数量阈值时，基于除所有被删除节点外的所有节点得到目标节点，以及所述目标节点组成的目标节点边目标节点之间的目标节点边
。5.
根据权利要求4所述的基于关键子视图的三维图像重建方法，其特征在于，所述利用所述节点之间的共视覆盖关系和三元节点信息计算得到所有所述节点的替代性指标和最佳替代节点，包括：
利用所述节点之间的影像对匹配关系构建共视覆盖关系；将所述节点的相邻节点作为潜在替代节点，将除所述潜在替代节点之外的所述相邻节点作为验证节点，利用所述节点
、
所述潜在替代节点和所述验证节点构建三元节点信息；利用所述共视覆盖关系和所述三元节点信息计算所述...

【专利技术属性】
技术研发人员：姚剑，龚烨，李礼，周朋伟，
申请(专利权)人：武汉大学深圳研究院，
类型：发明
国别省市：