一种面向大规模航拍图像的分布式运动推断结构方法技术

本发明专利技术公开本发明专利技术的目的在于解决现有技术中存在的不足，先将大规模的航拍图像数据划分具有一定重叠度的子集，避免图像数据量过大导致单机版本的运动推断结构方法和系统出现内存溢出问题；其次，在分布式计算环境下不同节点上同时计算每个子集图像所对应的稀疏点云模型和摄像机参数，使得能够在有限的时间内计算出大规模场景的三维模型。本发明专利技术能够在在分布式环境下快速地计算出大规模航拍图像对应的稀疏点云模型和摄像机参数，使得基于航拍图像的高精度及快速的大规模室外场景三维重建变成可能。

【技术实现步骤摘要】
一种面向大规模航拍图像的分布式运动推断结构方法
本专利技术属于图像处理
，具体涉及一种面向大规模航拍图像的分布式运动推断结构方法。
技术介绍
基于航拍图像的大规模室外场景三维重建在国防安全、军事仿真、大型影视制作、虚拟现实、增强现实、数字孪生和数字中国建设等领域具有重要的作用。随着消费级无人机设备的普及，采集航拍图像变得非常容易，大量的航拍图像数据增加了三维重建的难度，具体困难如下：(1)非常耗时，运动推断结构的计算流程非常复杂，当处理大规模的航拍图像数据时，现有运动推断结构方法的计算效率很低，无法在有限的时间内输出结果；(2)内存溢出，单机版本的三维重建方法对内存空间消耗较大，甚至导致三维重建过程失败。上述问题严重阻碍了基于航拍图像的三维重建技术的发展和应用。人们迫切希望寻找一种面向大规模航拍图像的分布式运动推断结构方法和系统，以便快速地从大规模的航拍图像中计算出高质量的稀疏点云模型和高精度的摄像机参数。相关的研究论文有《LargeScaleSfMwiththeDistributedCameraModel》，该论文于2016发表在国际会议3DVision上。此方法仅提出一种分布式的摄像机模型，不是一种具体的分布式三维重建方法，无法解决大规模三维重建的时间效率和内存溢出问题。虽然现有的运动推断结构方法在基于航拍图像的大规模三维重建中距离实际应用还有很大的差距：(1)现有算法的时间效率较低，无法满足实时应用程序需求；(2)现有算法的精度题，不能保证重建出来的三维模型与真实场景具有较高的几何一致性；(3)现有算法非常消耗内存，不能处理大规模的航拍图像数据。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种面向大规模航拍图像的分布式运动推断结构方法，本专利技术能够在在分布式环境下快速地计算出大规模航拍图像对应的稀疏点云模型和摄像机参数，使得基于航拍图像的高精度及快速的大规模室外场景三维重建变成可能。技术方案：本专利技术的一种面向大规模航拍图像的分布式运动推断结构方法，包括以下步骤：步骤S1、将大规模航拍图像数据集合I＝{I1,…,In}划分为若干具有一定重叠性的子集其中，n表示集合I中航拍图像的数量，为任意子集，表示重叠子集的数量，s表示子集，j表示子集的序号；步骤S2、在分布式环境的子节点上，计算出中的航拍图像所对应的稀疏点云模型和摄像机参数其中，表示模型的旋转矩阵，表示模型的平移向量；步骤S3、计算任意两个子集和之间的重叠图像，假设为其中，d表示子区域和之间的具有相似性的图像数量；表示重叠图像集合；步骤S4、根据上述所得子集和之间的重叠图像，计算出模型和之间的旋转矩阵和平移向量步骤S5、根据旋转矩阵和平移向量将模型和合并为一个模型，即为重步骤S4和步骤S5直到所有重叠图像均被处理完毕，即可获得最终的三维模型MI。进一步地，所述步骤S1中采用社区检测法(Communitydetection)将大规模航拍图像数据集合划分为具有一定重叠区域的子集，首先计算输入图像中包含的局部特征点，然后对特征进行聚类(例如AffinityPropagation方法)，每一类表示一个不同的社区区域，即为重叠的子集。进一步地，所述步骤S2中采用采用局部运动推断结构(Localstructurefrommotion)法计算每一个子集图像对应的稀疏点云模型和摄像机参数，包括GPU(GraphicsProcessorUnits)加速的运动推断结构法或非GPU加速的运动推断结构法。具体计算过程为：首先计算输入图像之间的特征匹配关系；其次，根据特征匹配关系计算出摄像机的相对姿态信息和初始的稀疏点云模型；最后，对初始的稀疏点云模型进行优化，即可获得最终的稀疏点云模型和摄像机参数。进一步地，所述步骤S3中采用基于“FisherVector”的图像匹配法计算任意两个子区域之间的重叠图像：首先根据输入的局部特征计算出词袋模型，然后根据词袋模型为每一幅输入图像查询匹配的图像，这些匹配的图像为重叠图像。进一步地，所述步骤S4中采用间接方法计算出两个子模型之间的旋转矩阵和平移向量：具体步骤为：首先根据两个子模型之间的重叠图像间的特征匹配关系来计算出基本矩阵，然后根据基本矩阵和摄像机参数计算出本质矩阵，最后对本质矩阵进行分解即可获得对应旋转矩阵和平移向量。进一步地，所述步骤S5中采用最小代价生成树方法将多个子模型合并为一个完整的模型。有益效果：本专利技术先将大规模的航拍图像数据划分具有一定重叠度的子集，避免图像数据量过大导致单机版本的运动推断结构方法和系统出现内存溢出问题；其次，在分布式计算环境下不同节点上同时计算每个子集图像所对应的稀疏点云模型和摄像机参数，使得能够在有限的时间内计算出大规模场景的三维模型。综上，本专利技术既能够提高三维重建的时间效率，又能够避免单机版本的运动推断结构方法和系统在处理大规模航拍图像数据时出现的内存溢出问题。附图说明图1为本专利技术的整体流程示意图；图2为实施例中的航拍图；图3为实施例中子区域的稀疏点云模型示意图；图4为实施例中的查询图像；图5为实施例中的重叠图像；图6为实施例中完整的点云模型。具体实施方式下面对本专利技术技术方案进行详细说明，但是本专利技术的保护范围不局限于所述实施例。本专利技术的一种面向大规模航拍图像的分布式运动推断结构方法，将大规模航拍图像划分为具有一定重叠度的子集，分别在分布式计算环境的不同节点上计算出每个子集图像对应的稀疏点云模型和摄像机参数，最后将所有子节点的稀疏点云模型和摄像机参数合并为一个整体，即可获得完整场景的稀疏点云模型和摄像机参数。本专利技术的应用场景包括：数字孪生、数字中国建设、影视制作、场景监控、文化遗产的数字化保护、军事仿真、无人驾驶、地图导航、虚拟现实和增强现实等。如图1所示，本实施例的一种面向大规模航拍图像的分布式运动推断结构方法步骤包括：步骤一对于给定的大规模航拍图像数据I＝{I1,…,In}采用文献《Generaloptimizationtechniqueforhigh-qualitycommunitydetectionincomplexnetworks》中的社区检测方法将其划分为具有一定重叠度的子集，即为其中，n表示航拍图像的数量，c＝n/m，m表示重叠子集的数量，s表示子集，j表示子集的序号；步骤二对于任意的子集图像数据使用局部运动推断结构方法计算出子集中的航拍图像对应的稀疏点云模型和摄像机参数其中表示模型的旋转矩阵，表示模型的平移向量；步骤三对于给定的两个子区域的三维模型，即Ma和Mb，假设模型Ma和Mb对应着两个不同的物理区域Regiona和Regionb，Ii和Ij分别表示区域Regiona和Regionb中的图像，构造出一个基于全局旋转误差的线性系统，和误差ρe,<本文档来自技高网...

【技术保护点】
1.一种面向大规模航拍图像的分布式运动推断结构方法，其特征在于：包括以下步骤：/n步骤S1、将大规模航拍图像数据集合I＝{I

【技术特征摘要】
1.一种面向大规模航拍图像的分布式运动推断结构方法，其特征在于：包括以下步骤：
步骤S1、将大规模航拍图像数据集合I＝{I1,…,In}划分为若干具有一定重叠性的子集
其中，n表示集合I中航拍图像的数量，为任意子集，m表示重叠子集的数量，s表示子集，j表示子集的序号；
步骤S2、在分布式环境的子节点上，计算上述中的航拍图像所对应的稀疏点云模型和摄像机参数
其中，表示模型的旋转矩阵，表示模型的平移向量；
步骤S3、计算任意两个子集和之间的重叠图像，假设为
其中，d表示子区域和之间的具有相似性的图像数量；表示重叠图像集合；
步骤S4、根据上述所得子集和之间的重叠图像，计算出模型和之间的旋转矩阵和平移向量
步骤S5、根据旋转矩阵和平移向量将模型和合并为一个模型，即为重步骤S4和步骤S5直到所有重叠图像均被处理完毕，即可获得最终的三维模型MI。


2.根据权利要求1所述的面向大规模航拍图像的分布式运动推断结构方法，其特征在于：所述步骤S1中采用社区检测法将大规模航拍图像数据集合划分为具有一定重叠区域的子集；首先计算输入图像中包含的局部特征点，然后对特征进行聚类，每一类表示一个不同的社区区域，即为重叠的子集。


3.根据权利要求1所述的面向...

【专利技术属性】
技术研发人员：赵海峰，范明豪，曹明伟，孙登第，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34