一种面向大规模航拍图像的分布式多视图立体重建方法技术

本发明专利技术公开一种面向大规模航拍图像的分布式多视图立体重建方法，先计算场景的稀疏点云模型和摄像机姿态，将稀疏点云模型划分为不同的区域，计算每个区域中所包含图像的深度图，为每个区域选择两幅最佳的深度图像作为初始融合视图，融合每个区域的深度图像、即可获得每个区域内的稠密点云模型，合并多个区域内的稠密点云、即可获得完整场景的稠密点云模型。本发明专利技术充分利用了大规模航拍图像之间的区域性，将大规模场景的多视图立体重建问题转化为可以在低性能计算机上求解的小规模多视图立体重建问题，既提高了三维重建的时间效率，又降低了三维重建的成本。又降低了三维重建的成本。又降低了三维重建的成本。

【技术实现步骤摘要】
一种面向大规模航拍图像的分布式多视图立体重建方法


[0001]本专利技术涉及计算机视觉与图像处理技术，具体涉及一种面向大规模航拍图像的分布式多视图立体重建方法。

技术介绍

[0002]多视图立体（Multi
‑
view Stereo，MVS）是从图像数据中计算场景稠密点云模型的一种技术，通常以运动推断结构（Structure from Motion，SfM）的输出信息，即稀疏点云模型和摄像机参数，作为MVS的输入信息。目前，面向小规模图像数据（例如手持相机采集的小规模场景图像数据）的多视图立体重建问题取得了较大的研究进展，然而，针对大规模的室外场景，现有的多视图立体重建方法还需要进一步提高。此外，随着消费级无人机设备的普及，使得获取室外场景的大规模数据变得较为容易。现有的多视图立体重建方法在处理大规模的航拍图像数据时，主要存在以下挑战：（a）非常耗时，多视图立体重建过程非常耗时，尤其处理室外大规模航拍图像数据时，现有的多视图立体重建方法无法在有限的时间内计算出稠密的点云模型，难以满足高层次应用系统的时效性要求；（b）存储溢出，多视图立体重建方法对计算机内存的需求较大，尤其是当航拍图像的数据量较大时，单机版本的多视图立体重建方法会出现内存溢出问题，导致三维重建过程失败。
[0003]上述问题严重阻碍了多视图立体重建技术的发展和应用，暴露了单机版本的多视图立体重建方法在处理大规模航拍图像数据时的不足。因此，人们亟需一种面向大规模航拍图像的分布式多视图立体重建方法，以便能够快速地从大规模航拍图像中计算出场景的稠密点云模型。
[0004]目前，关于多视图立体研究的经典论文主要有：[1]《Accurate, Dense, and Robust Multi
‑
View Stereopsis》，[2]《Pixelwise View Selection for Unstructured Multi
‑
View Stereo》，[3]《BlendedMVS: A large
‑
scale dataset for generalized multi
‑
view stereo networks》。论文[1]于2007年发表在CVPR会议上，是一种基于种子点扩散的多视图立体重建方法；论文[2]于2016年发表在ECCV会议上，是一种基于图像块匹配的多视图立体重建方法；论文[3]于2020年发表在CVPR上，是一种基于深度学习的多视图立体重建方法，主要采用深度学习技术估计每幅图像的深度图。上述这些多视图立体重建方法的重点是，如何提高多视图立体重建模型（三维稠密点云）的精度，且处理的目标均是小规模场景的图像数据。
[0005]因此，现有的多视图立体重建方法应用于大规模航拍图像数据时，仍然面临以下挑战：（1）当使用现有的单机版本的多视图立体重建方法处理大规模航拍图像数据时，需要较大的内存空间，例如处理1000幅图像数据所需要的内容空间为64 Gb，甚至超过现有硬件设备所能支持的最大内存空间，例如当图像数据达到1500幅时，需要128Gb的内存空间，远超出了单台计算机所支持的最大内存空间范围；（2）现有多视图立体重建方法的运行效率太低，难以满足基于航拍图像数据的大规模三维重建的时间效率需求，例如处理1000幅航拍图像需要耗费10天时间。

技术实现思路

[0006]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种面向大规模航拍图像的分布式多视图立体重建方法，建立在分布式运行环境之上快速地从大规模航拍图像数据中计算出场景的稠密点云模型，促进面向大规模航拍图像的多视图立体重建技术的进步，实现快速计算出大规模场景的高质量稠密点云的目标。
[0007]技术方案：本专利技术的一种面向大规模航拍图像的分布式多视图立体重建方法，包括以下步骤：S1、对于给定的大规模航拍图像数据集合，，其中，表示航拍图像的数量，计算对应场景的稀疏点云模型和摄像机参数：稀疏点云模型为S，其中表示整个场景的稀疏点云中三维点的数量，表示第i个三维点在世界坐标系中的位置，表示三维点的序号；摄像机参数C，其中，表示航拍图像的数量，表示第个摄像机的内部参数矩阵，表示第个摄像机的旋转矩阵，表示第个摄像机的平移向量，表示摄像机的序号；S2、将大规模的稀疏点云模型S划分为不同的子区域，获得S，其中表示子区域数量，表示三维点的序号，表示第个子区域；将摄像机参数C划分为个与稀疏点云模型S对应的子区域，获得每个子区域的摄像机参数C；S3、计算每个区域内图像的深度图，记区域内有幅航拍图像，则区域所对应的深度图像为,；其中，表示第幅深度图的序号；S4、为每一个区域的深度图像数据，选择两幅最优的初始融合视图，记为，其中表示区域内的航拍图像数量，和是下标、用于区分不同的深度图像；和表示最优的初始融合视图；S5、融合区域中的所有深度图像，即可获得区域对应的稠密点云模型，
记为，其中，表示子区域内深度图融合以后的稠密云中三维点的数量，表示点在世界坐标系中的位置；S6、将每个区域的稠密点云模型合并为一个整体，即可获得完整场景的稠密点云模型，记为，其中，表示子区域的数量。
[0008]进一步地，所述步骤S1中使用混合式的运动推断结构方法从航拍图像数据集合中计算出场景的稀疏点云模型和摄像机参数，具体步骤为：步骤S1.1、航拍图像匹配 首先使用基于深度学习的局部特征检测方法检测特征点和计算特征描述子，然后使用局部感知哈希方法计算特征描述子之间的匹配关系，最后根据图像之间的几何一致性消除错误的匹配点，即可获得正确的特征匹配点；步骤S1.2、计算摄像机参数根据S1.1所得特征匹配点，使用增量式的运动推断结构方法计算摄像机参数；首先使用五点算法计算出摄像机的相对姿态信息，然后使用三点方法计算摄像机的绝对姿态信息，最后使用摄像机自标定方法计算出每幅图像的焦距信息；步骤S1.3、计算区域图像的稀疏点云模型根据S1.1所得特征匹配点和S1.2所得摄像机参数，使用全局式运动推断结构方法计算区域场景的稀疏点云模型，提高了三维重建的时间效率。首先，将区域中所有的图像对应的三维点注册到世界坐标系中，然后使用集束调整（Bundle Adjustment）方法同时对摄像机参数和世界坐标系中的三维点进行优化直到收敛即可获得精确的稀疏点云模型；其中，表示第个区域的序号。
[0009]进一步地，所述步骤S2中，使用优势集聚类方法将大规模的稀疏点云划分为多个子区域场景，具体方法为：记表示一个包含有幅航拍图像和一个稀疏点云模型的集合，表示一个具有行和列的方阵，用于记录图像之间的相似性；和分别表示图像和图像所能够观测到的所有三维点集合，则图像和图像之间的相似性定义为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示向量和向量之间的角度，的计算方法如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向大规模航拍图像的分布式多视图立体重建方法，其特征在于：包括以下步骤：S1、对于给定的大规模航拍图像数据集合，，其中，表示航拍图像的数量，计算对应场景的稀疏点云模型和摄像机参数：稀疏点云模型为S，其中表示整个场景的稀疏点云中三维点的数量，表示第i个三维点在世界坐标系中的位置，表示三维点的序号；摄像机参数C，其中表示航拍图像的数量，表示第个摄像机的内部参数矩阵，表示第个摄像机的旋转矩阵，表示第个摄像机的平移向量，表示摄像机的序号；S2、将大规模的稀疏点云模型S划分为不同的子区域，获得S，其中，表示子区域数量，表示三维点的序号，表示第个子区域；将摄像机参数C划分为个与稀疏点云模型S对应的子区域，获得每个子区域的摄像机参数C；S3、计算每个区域内图像的深度图，记区域内有幅航拍图像，则区域所对应的深度图像为,；其中，表示第幅深度图的序号；S4、为每一个区域的深度图像数据，选择两幅最优的初始融合视图，记为，其中表示区域内的航拍图像数量，和是下标、用于区分不同的深度图像；和表示最优的初始融合视图；S5、融合区域中的所有深度图像，即可获得区域对应的稠密点云模型，记为，其中，表示子区域内深度图融合以后的稠密云中三维点的数量，表示点在世界坐标系中的位置；S6、将每个区域的稠密点云模型合并为一个整体，即可获得完整场景的稠密点云模型，记为。2.根据权利要求1所述的面向大规模航拍图像的分布式多视图立体重建方法，其特征
在于：所述步骤S1中使用混合式的运动推断结构方法从航拍图像数据集合中计算出场景的稀疏点云模型和摄像机参数，具体步骤为：步骤S1.1、航拍图像匹配首先使用基于深度学习的局部特征方法来检测特征点和计算特征描述子，然后使用局部感知哈希方法计算特征描述子之间的匹配关系，最后根据图像之间的几何一致性消除错误的匹配点，即可获得正确的特征匹配点；步骤S1.2、计算摄像机参数根据S1.1所得特征匹配点，使用增量式的运动推断结构方法计算摄像机参数；首先使用五点算法计算出摄像机的相对姿态信息，然后使用三点方法计算摄像机的绝对姿态信息，最后使用摄像机自标定方法计算出每幅图像的焦距信息；步骤S1.3、计算区域图像的稀疏点云模型根据S1.1所得特征匹配点和S1.2所得摄像机参数，使用全局式运动推断结构方法计算区域场景的稀疏点云模型：首先，将区域中所有的图像对应的三维点注册到世界坐标系中，然后使用集束调整方法同时对摄像机参数和世界坐标系中的三维点进行优化直到收敛即可获得精确的稀疏点云模型；其中，表示第个区域的序号。3.根据权利要求1所述的面向大规模航拍图像的分布式多视图立体重建方法，其特征在于：所述步骤S2使用优势集聚类方法划分子区域，具体方法如下：记表示一个包含有幅航拍图像和一个稀疏点云模型的集合，表示一个具有行和列的方阵，用于记录图像之间的相似性；和分别表示图像和图像所能够观测到的所有三维点集合，则图像和图像之间的相似性定义为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示向量和向量之间的角度，的计算方法如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）且的计算方法如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，和均是中间计算变量；
至此，计算出图像之间的相似矩阵，根据的值构造出一...

【专利技术属性】
技术研发人员：曹明伟，王子洋，赵海峰，孙登第，
申请(专利权)人：安徽大学，
类型：发明
国别省市：