基于深度图改进的分块密集匹配方法、系统、终端及介质技术方案

本发明专利技术公开了基于深度图改进的分块密集匹配方法、系统终端及介质，涉及图像匹配技术领域，包括：图像获取步骤：获取全局场景的图像；邻域图选择步骤：利用图像关联度，选择出每张图像的邻域图像集合，同时初始化图像的重建状态对象；空间立体自动聚类步骤：对全局场景进行空间立体自动聚类完成分块，并抽取子块重建所需的匹配对图像，得到该子块的图像簇；密集匹配步骤：在子块的图像簇中获取目标图像，根据目标图像的重建状态对象估计、过滤深度图以及深度图融合生成密集点云。本发明专利技术避免子块间相同图像的重复计算，提高了密集匹配的效率和图像重建的准确性。和图像重建的准确性。和图像重建的准确性。

【技术实现步骤摘要】
基于深度图改进的分块密集匹配方法、系统、终端及介质


[0001]本专利技术涉及图像匹配
，尤其涉及基于深度图改进的分块密集匹配方法、系统、终端及介质。

技术介绍

[0002]倾斜摄影是近年来航测领域逐渐发展起来的新技术，相对于传统航测采集的垂直摄影数据，通过新增多个不同角度镜头，获取具有一定倾斜角度的倾斜影像，可获得同一位置多个不同角度的高分辨率影像，采集丰富的地物侧面纹理及位置信息。倾斜摄影技术成为快速获大范围高精度三维模型技术之一。大范围倾斜三维重建往往需要采集几千甚至上万张高分辨率影像，倾斜三维重建过程需要经过稀疏重建、多视密集匹配、几何表面重建、纹理重建等步骤，然而密集匹配属于计算密集型阶段，对算力和内存要求较高，一般单机难以完成。因此，通常采用分块密集匹配方式进行处理。
[0003]分块密集匹配方法是对稀疏重建结果进行分割，产生一定数量的子块，并对每个子块独立进行密集匹配。Mostegel等提出一种基于八叉树划分的处理海量点云的可扩展方法。但是八叉树结构需要多次重复计算以获得足够的重叠，增加了时间消耗和内存使用。韩佳丽对Mostegel的方法进行改进，将整个场景沿着x轴和y轴分成几个相互重叠的块，采用基于delaunay的优化方法并行提取各块的网格，通过解决块体重叠区域的局部不一致性，将局部网格融合在一起。Snavely等通过使用图论方法从冗余、多分辨率的无序图像集中找到近似于全部图像重建质量的图像骨架集，大大减少冗余图像，提高重建速度。Furukawa先合并稀疏点云并去除图像冗余，然后将剩余图像共享特征点作为关联权重构建图形结构，通过归一化图割算法和分割簇大小约束聚类分割为多个视图簇。
[0004]刘彬、倪标在Furukawa提出的归一化图割法的基础之上进行了改进，提出了分块密集匹配的PMVS算法。该方法可以得到高质量的密集点云，能够满足倾斜模型的重建精度要求，因此它是常用的分块密集匹配方法之一。但该方法耗时较长、效率较低，其主要原因是由于不同子块中包含了一些相同的图像，将其称之为重复图像。而这些重复图像在深度图的估计、过滤阶段会被重复计算。参照图1进行详细说明，以像片DJI_0001为例，该像片的投影平面在空间上与两个子块(Tile_000+_001和Tile_001+_001)相交，因此该像片会被包含在这两个子块中。因此，两个子块都会对像片DJI_0001做深度图的估计和过滤。比如，面积为1.0km2测区采用该方法进行密集匹配，耗时109小时14分钟。
[0005]因此，因此提出基于深度图改进的分块密集匹配方法、系统、终端及介质，避免块间重复图像的冗余计算，提高图像重建准确性，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了基于深度图改进的分块密集匹配方法、系统、终端及介质，避免子块间相同图像的重复计算，提高了密集匹配的效率和图像重建的准确性。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]基于深度图改进的分块密集匹配方法，包括以下步骤：
[0009]图像获取步骤：获取全局场景的图像；
[0010]邻域图选择步骤：利用图像关联度，选择出每张图像的邻域图像集合，同时初始化图像的重建状态对象；
[0011]空间立体自动聚类步骤：对全局场景进行空间立体自动聚类完成分块，并抽取子块重建所需的匹配对图像，得到该子块的图像簇；
[0012]密集匹配步骤：在子块的图像簇中获取目标图像，根据目标图像的重建状态对象估计、过滤深度图以及深度图融合生成密集点云。
[0013]可选的，图像获取步骤的具体内容为：利用倾斜摄影技术，采集全局场景的倾斜影像，作为全局场景的图像。
[0014]可选的，邻域图选择步骤的具体内容为：
[0015]利用图像关联算法，计算每一张图像的邻域图，基于视图夹角、重叠面积和尺度因子选择邻域图像，并对邻域图像进行打分和排序；在全局视图选择时，为每张图像创建重建状态对象并对其初始化。
[0016]可选的，空间立体自动聚类步骤的具体内容为：
[0017]依据重建范围和格网，对全局场景进行空间划分，计算每个子块的行列号即空间范围；
[0018]依次遍历子块，将子块空间距离按照重叠距离向四周扩张，得到具有一定重叠度的空间范围，将该空间范围作为每个子块的密集匹配有效范围；
[0019]利用图像中心点的投影计算得到位于子块空间范围内所有图像，组成该子块的图像簇；其中，图像中心点的投影计算公式为：
[0020][0021]式中：X，Y，Z为图像投影中心对应的世界坐标，K为相机内参，R，t为相机外参，z
depth
为投影中心深度值，u，v为图像投影中心坐标；
[0022]遍历该子块图像簇中的图像，基于邻域图选择步骤中选择的图像邻域图，判断每张图像的邻域图是否在该子块的图像簇中，若不在，则将该邻域图追加到图像簇中。
[0023]可选的，密集匹配步骤的具体内容为：
[0024]获取目标图像：在每个子块中的图像簇中，依次取子块内的图像作为目标图像；
[0025]深度图估计：获取当前目标图像的重建状态对象，对子块内图像逐个进行深度图估计；
[0026]深度图过滤：在子块中的所有图像完成深度图估计后，获取当前需处理图像的重建状态对象，逐个过滤子块内全部图像；
[0027]深度图融合：当前子块中的所有图像都完成估计和过滤后，按照多视几何一致性深度图融合方法，利用该子块内所有图像的深度图，按照当前子块的空间范围进行深度图融合，生成密集点云。
[0028]基于深度图改进的分块密集匹配系统，应用基于深度图改进的分块密集匹配方
法，
[0029]包括：图像获取模块、邻域图选择模块、空间立体自动聚类模块和密集匹配模块；
[0030]图像获取模块，与邻域图选择模块的输入端连接，用于获取全局场景的图像；
[0031]邻域图选择模块，与空间立体自动聚类模块的输入端连接，用于利用图像关联度，选择出每张图像的邻域图像集合，同时初始化图像的重建状态对象；
[0032]空间立体自动聚类模块，与密集匹配模块的输入端连接，用于对全局场景进行空间立体自动聚类完成分块，并抽取子块重建所需的匹配对图像，得到该子块的图像簇；
[0033]密集匹配模块，用于在子块的图像簇中获取目标图像，根据目标图像的重建状态对象估计、过滤深度图以及深度图融合生成密集点云。
[0034]一种终端，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行基于深度图改进的分块密集匹配方法。
[0035]一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行基于深度图改进的分块密集匹配方法。
[0036]经由上述的技术方案可知，与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度图改进的分块密集匹配方法，其特征在于，包括以下步骤：图像获取步骤：获取全局场景的图像；邻域图选择步骤：利用图像关联度，选择出每张图像的邻域图像集合，同时初始化图像的重建状态对象；空间立体自动聚类步骤：对全局场景进行空间立体自动聚类完成分块，并抽取子块重建所需的匹配对图像，得到该子块的图像簇；密集匹配步骤：在子块的图像簇中获取目标图像，根据目标图像的重建状态对象估计、过滤深度图以及深度图融合生成密集点云。2.根据权利要求1所述的基于深度图改进的分块密集匹配方法，其特征在于，图像获取步骤的具体内容为：利用倾斜摄影技术，采集全局场景的倾斜影像，作为全局场景的图像。3.根据权利要求1所述的基于深度图改进的分块密集匹配方法，其特征在于，邻域图选择步骤的具体内容为：利用图像关联算法，计算每一张图像的邻域图，基于视图夹角、重叠面积和尺度因子选择邻域图像，并对邻域图像进行打分和排序；在全局视图选择时，为每张图像创建重建状态对象并对其初始化。4.根据权利要求1所述的基于深度图改进的分块密集匹配方法，其特征在于，空间立体自动聚类步骤的具体内容为：依据重建范围和格网，对全局场景进行空间划分，计算每个子块的行列号即空间范围；依次遍历子块，将子块空间距离按照重叠距离向四周扩张，得到具有一定重叠度的空间范围，将该空间范围作为每个子块的密集匹配有效范围；利用图像中心点的投影计算得到位于子块空间范围内所有图像，组成该子块的图像簇；其中，图像中心点的投影计算公式为：式中：X，Y，Z为图像投影中心对应的世界坐标，K为相机内参，R，t为相机外参，z
depth
为投影中心深度值，u，v为图像投影中心坐标；遍历该子块图像簇中的图像，基于邻域图选择步骤中选择的图像邻域图，判断每张图像的邻域图是否在该子块的图像簇中，若不在，则将该邻域图追加到图像簇中。5.根据权利要求1所述的基于深度图改进的分块密集匹配...

【专利技术属性】
技术研发人员：吴政，刘振东，朱立宁，王飞，武鹏达，张婷婷，张帅哲，屈文虎，
申请(专利权)人：中国测绘科学研究院，
类型：发明
国别省市：