三维稠密重建方法、装置、电子设备及介质制造方法及图纸

本申请提供一种三维稠密重建方法、装置、电子设备及介质，该方法包括：计算第一图像块中像素值为1的区域总面积，得到第一值；根据第一值，确定将第一图像块作为第二图像块存入第二图像块集合中，或将第一图像块存入待合并图像块集合中，或将第一图像块丢弃；遍历待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并将两个第一图像块从待合并图像块集合中剔除；根据第二图像块集合，确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。本申请的方法，有效减少了碎片化分块的数量。有效减少了碎片化分块的数量。有效减少了碎片化分块的数量。

【技术实现步骤摘要】
三维稠密重建方法、装置、电子设备及介质


[0001]本申请涉及三维重建技术，尤其涉及一种三维稠密重建方法、装置、电子设备及介质。

技术介绍

[0002]在城市级的三维建模任务中，通常会拍摄大量的照片（几千甚至上万张），在稠密重建阶段需要耗费大量的算力和时间去估算每张图片的深度图。为了提高计算效率，需要对这一步骤进行并行化处理，将原始图像进行分组，分别计算每组原始图像的深度图和稠密点云，最后再通过点云模型化技术，形成城市级的三维模型。
[0003]已知技术中，常采用基于视图数量等间隔分块、空间距离等间隔分块和基于航线分块等常用方法进行分组，然而，视图数量等间隔分块会受视图重叠度的影响而难以综合考虑到视图数量与点云之间的关系。空间距离等间隔分块在处理诸如航线变化复杂的场景时，会产生更多的碎片数据并造成更大的合并误差。基于航线的分块方法能够避免前两种方法产生的问题，但该方法仅适用于单目正射航拍的方式，不适用拍摄时会出现视野交叉的多目摄像头拍摄场景。
[0004]因此，提供一种可以对稀疏点云进行快速、均匀、规则地分块，减少在航拍区域的边缘或者不规则区域出现的碎片化分块，并能适用于单目、多目和复杂航线的各种拍摄场景的网格分块方法，是十分必要的。

技术实现思路

[0005]本申请提供一种三维稠密重建方法、装置、电子设备及介质，用以提供一种可以减少碎片化分块的分块方式。
[0006]第一方面，本申请提供一种三维稠密重建方法，该方法包括：遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。
[0007]在另一种可能实现的方式中，若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。
[0008]在另一种可能实现的方式中，所述遍历所述待合并图像块集合中的第一图像块，对满足预设条件的两个第一图像块进行合并处理，得到合并图像块，包括：对于所述待合并图像块集合中的每一个第一图像块，查找所述待合并图像块集合中是否存在与所述第一图像块上下、左右相邻的图像块，若存在，则将所述图像块与所述第一图像块合并，得到备选合并图像块；计算所述备选合并图像块中像素值为1的区域与所述区域外接矩的面积比，确定面积比最大的备选合并图像块；若所述面积比最大的备选合并图像块的面积比不小于所述第一预设阈值，则将所述面积比最大的备选合并图像块作为所述合并图像块。
[0009]在另一种可能实现的方式中，所述遍历第一图像块集合中的第一图像块之前，所述方法还包括：获取原始图像的稀疏重建信息，将所述稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集；所述稀疏重建信息包括所述稀疏点云，所述稀疏点云是反映三维场景信息的特征点数据集合；根据所述正射稀疏点集构造备选图像，所述备选图像的尺寸由所述正射稀疏点集在x轴和y轴的最大值、最小值确定；所述备选图像中属于所述正射稀疏点集的像素点像素大小为1，否则，像素大小为0；根据所述备选图像，确定所述第一图像，并根据预设网格大小，将所述第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。
[0010]在另一种可能实现的方式中，所述根据所述备选图像，确定所述第一图像，包括：对所述备选图像进行闭运算，得到过程图像，所述过程图像是对所述备选图像填充孔隙后得到的；通过预设方式检索所述过程图像中的最长轮廓，并根据所述最长轮廓绘制所述第一图像，使得所述最长轮廓内的像素值为1，所述最长轮廓外的像素值为0。
[0011]在另一种可能实现的方式中，所述根据所述第二图像块集合，确定网格块数之前，所述方法还包括：确定所述第二图像块集合与所述待合并图像块集合中的图像块数量是否满足第二预设条件，所述第二预设条件为所述第二图像块的数量为所述第一图像块的数量的两倍以上；若满足，则遍历所述待合并图像块集合中的第一图像块，并确定与所述第一图像块的中心距离最短的第二图像块；将所述第一图像块合并至所述第二图像块中，并生成合并后图像块的像素值为1的区域外接矩，将所述区域外接矩作为更新第二图像块存入所述第二图像块集合中。
[0012]在另一种可能实现的方式中，若所述第二图像块集合与所述待合并图像块集合中的图像块数量不满足第二预设条件，则所述方法还包括：
更新所述预设网格大小，得到更新网格大小，根据所述更新网格大小将所述第一图像划分为m块，得到包括m个第一图像块的第一图像块集合，所述m小于所述n。
[0013]在另一种可能实现的方式中，所述结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建，包括：根据所述显存资源和所述原始图像的分辨率，计算最大并行数量；根据所述最大并行数量，并行地对所述第二图像块集合中的第二图像块进行所述稠密重建。
[0014]第二方面，本申请提供一种三维稠密重建装置，该装置包括：计算模块，用于遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；确定模块，用于根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；合并模块，用于遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；重建模块，用于根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。
[0015]第三方面，本专利技术提供一种电子设备，包括：至少一个处理器和存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维稠密重建方法，其特征在于，所述方法包括：遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。2.根据权利要求1所述的方法，其特征在于，若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。3.根据权利要求1或2所述的方法，其特征在于，所述遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，包括：对于所述待合并图像块集合中的每一个第一图像块，查找所述待合并图像块集合中是否存在与所述第一图像块上下、左右相邻的图像块，若存在，则将所述图像块与所述第一图像块合并，得到备选合并图像块；计算所述备选合并图像块中像素值为1的区域与所述区域外接矩的面积比，确定面积比最大的备选合并图像块；若所述面积比最大的备选合并图像块的面积比不小于所述第一预设阈值，则将所述面积比最大的备选合并图像块作为所述合并图像块。4.根据权利要求1或2所述的方法，其特征在于，所述遍历第一图像块集合中的第一图像块之前，所述方法还包括：获取原始图像的稀疏重建信息，将所述稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集；所述稀疏重建信息包括所述稀疏点云，所述稀疏点云是反映三维场景信息的特征点数据集合；根据所述正射稀疏点集构造备选图像，所述备选图像的尺寸由所述正射稀疏点集在x轴和y轴的最大值、最小值确定；所述备选图像中属于所述正射稀疏点集的像素点像素大小为1，否则，像素大小为0；根据所述备选图像，确定所述第一图像，并根据预设网格大小，将所述第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。5.根据权利要求4所述的方法，其特征在于，所述根据所述备选图像，确定所述第一图
像，包括：对所述备选图像进行闭运算，得到过程图像，所述过程图像是对所述备选图像填充孔隙后得到的；通过预设方式检索所述过程图像中的最长轮廓，并根据所述...

【专利技术属性】
技术研发人员：刘继超，詹慧媚，金岩，王玮，甘琳，
申请(专利权)人：青岛海纳云智能系统有限公司青岛海纳云数字科技有限公司，
类型：发明
国别省市：