本申请公开了一种三维重建的深度图优化方法及装置，该方法包括：对每张深度图进行平滑去噪；基于深度图对应的原始图像先验信息和邻域深度信息补全深度图中所存在的孔洞区域；将每张深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值；根据预设融合约束，去除每张深度图在三维点云中所对应点云中冗余点，获得每张深度图的点云数据；融合多张深度图的点云数据，获得优化后三维点云。与现有的深度图融合算法相比，本申请公开的方法去除了深度图的杂点以及异常值信息，增加完善点云细节信息，优化边缘区域的深度值信息，去除点云冗余信息，得到较为完整的深度图，能够满足大规模高分辨率场景重建需求。建需求。建需求。
【技术实现步骤摘要】
三维重建的深度图优化方法及装置
[0001]本申请涉及倾斜摄影实景三维建模
，尤其涉及一种三维重建的深度图优化算法及装置。
技术介绍
[0002]深度图是一种三维图像数据格式，其包含场景对象的表面到视点的距离有关的信息，每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近，反映了物体到相机坐标平面的距离，也反映了物体可见表面的几何形状。
[0003]因被动视觉测距传感器的硬件成本较低，目前大多采用被动测距方法，主要通过两个摄像机同时获取同一场景的两幅图像，根据立体匹配算法找出两幅图像中对应的像素点，随后根据三角原理计算出视差信息，再将视差信息通过坐标转换来表征场景中物体的深度信息；或者通过拍摄同一场景下不同角度的一组图像来获得该场景的深度图像。
[0004]但是，因光线明暗以及环境遮挡等因素，会导致通过被动测距方法获得的深度图存在过多的杂点或者漂浮在表面的浮点，在边缘区域存在明显的因深度信息缺失形成孔洞等问题，以至于在三维重建时导致模型不完整而且存在过多的杂点。
技术实现思路
[0005]在本申请实施例中，通过提供一种三维重建的深度图优化方法及装置，能够生成边缘细节更加准确的深度图，为三维重建网格化和贴图提供高精度的高分辨率深度图数据和融合点云数据，解决了现有技术中三维重建的模型不完整且存在过多的杂点等技术问题。
[0006]第一方面，本申请实施例提供了一种三维重建的深度图优化方法，该方法包括：对每张深度图进行平滑去噪；基于所述深度图对应的原始图像先验信息和邻域深度信息补全所述深度图中所存在的孔洞区域；将每张所述深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值；根据预设融合约束，去除每张所述深度图在三维点云中所对应点云中冗余点，获得每张所述深度图的点云数据；融合多张所述深度图的点云数据，获得优化后三维点云。
[0007]结合第一方面，在一种可能的实现方式中，所述对每张深度图进行平滑去噪之前，所述方法还包括：获取相机内外参数，深度范围和立体匹配关联视图信息；利用所述原始图像和其对应所述关联视图信息，通过立体匹配算法计算得到每张所述原始图像的所述深度图。
[0008]结合第一方面，在一种可能的实现方式中，所述对每张深度图进行平滑去噪，包括：利用非线性双边滤波的方法对每张所述深度图进行平滑去噪。
[0009]结合第一方面，在一种可能的实现方式中，所述基于所述深度图对应的原始图像先验信息和邻域深度信息补全所述深度图中所存在的孔洞区域，包括：将每张所述原始图像分割为多个联通区；结合每个所述联通区对应的所述深度图的深度值，对每个所述联通
区进行平面检测；确定符合平面特征的所述联通区的平面方程，获得每张所述原始图像的平面方程集合；搜索每张所述深度图的空洞区域，获得每张所述深度图的空洞区域点集；其中，所述空洞区域为所述深度图中的无效值区域；比较所述空洞区域与预设尺寸值；若所述空洞区域小于所述预设尺寸值，根据所述邻域深度信息对所述空洞区域进行插值；所述空洞区域大于所述预设尺寸值，判断所述空洞区域是否位于所述平面方程集合；若所述空洞区域位于所述平面方程集合，根据对应的所述平面方程对所述空洞区域进行插值。
[0010]结合第一方面，在一种可能的实现方式中，所述将每张所述深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值，包括：采用边缘检测算子对所述原始图像进行边缘提取，并将所述边缘映射到所述深度图中；利用所述边缘将所述深度图分割为多个边缘区域；计算每个所述边缘区域的梯度信息；迭代执行以下步骤，直至完成所述边缘区域的像素值修正：若所述错误深度值像素点的预设第一邻域中存在所述正确深度值，根据所述正确深度值的距离加权以及所述边缘区域的梯度信息，将所述错误深度值更新为所述正确深度值；若所述不可靠深度值像素点的预设第二邻域中存在所述可靠深度值或所述正确深度值，根据距离加权，将所述不可靠深度值更新为所述可靠深度值。
[0011]结合第一方面，在一种可能的实现方式中，所述预设融合约束包括：删除每张所述深度图的点云数据中深度值小于在关联所述深度图中深度值的点；待融合点的相对深度差小于预设阈值；待融合点的法线差小于预设角度；重投影误差小于预设像素距离；删除少于预设数量参数视图的所述深度图存在的点。
[0012]结合第一方面，在一种可能的实现方式中，所述融合多张所述深度图的点云数据，获得优化后三维点云，包括：采用分块融合的策略，并在所述每张深度图融合时采用体素降采样方法，获得所述优化后三维点云。
[0013]第二方面，本申请实施例提供了一种三维重建的深度图优化装置，该装置包括：平滑去噪模块，用于对每张深度图进行平滑去噪；补全模块，用于基于所述深度图对应的原始图像先验信息和邻域深度信息补全所述深度图中所存在的孔洞区域；优化模块，用于将每张所述深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值；冗余点去除模块，用于根据预设融合约束，去除每张所述深度图在三维点云中所对应点云中冗余点，获得每张所述深度图的点云数据；融合模块，用于融合多张所述深度图的点云数据，获得优化后三维点云。
[0014]结合第二方面，在一种可能的实现方式中，所述装置还包括相机参数模块和深度图模块；在所述平滑去噪模块对每张深度图进行平滑去噪前，所述相机参数模块用于获取相机内外参数，深度范围和立体匹配关联视图信息；深度图模块用于利用所述原始图像和其对应所述关联视图信息，通过立体匹配算法计算得到每张所述原始图像的所述深度图。
[0015]结合第二方面，在一种可能的实现方式中，所述平滑去噪模块具体用于：利用非线性双边滤波的方法对每张所述深度图进行平滑去噪。
[0016]结合第二方面，在一种可能的实现方式中，所述补全模块具体用于：将每张所述原始图像分割为多个联通区；结合每个所述联通区对应的所述深度图的深度值，对每个所述联通区进行平面检测；确定符合平面特征的所述联通区的平面方程，获得每张所述原始图像的平面方程集合；搜索每张所述深度图的空洞区域，获得每张所述深度图的空洞区域点集；其中，所述空洞区域为所述深度图中的无效值区域；比较所述空洞区域与预设尺寸值；
若所述空洞区域小于所述预设尺寸值，根据所述邻域深度信息对所述空洞区域进行插值；若所述空洞区域大于所述预设尺寸值，判断所述空洞区域是否位于所述平面方程集合；若所述空洞区域位于所述平面方程集合，根据对应的所述平面方程对所述空洞区域进行插值。
[0017]结合第二方面，在一种可能的实现方式中，所述优化模块具体用于：采用边缘检测算子对所述原始图像进行边缘提取，并将所述边缘映射到所述深度图中；利用所述边缘将所述深度图分割为多个边缘区域；计算每个所述边缘区域的梯度信息；迭代执行以下步骤，直至完成所述边缘区域的像素值修正：若所述错误深度值像素点的预设第一邻域中存在所述正确深度值，根据所述正确深度值的距离加权以及所述边缘区域的梯度信息，将所述错误深度值更新为所述正确深度值；若本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维重建的深度图优化方法，其特征在于，包括：对每张深度图进行平滑去噪；基于所述深度图对应的原始图像先验信息和邻域深度信息补全所述深度图中所存在的孔洞区域；将每张所述深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值；根据预设融合约束，去除每张所述深度图在三维点云中所对应点云中冗余点，获得每张所述深度图的点云数据；融合多张所述深度图的点云数据，获得优化后三维点云。2.根据权利要求1所述的方法，其特征在于，所述对每张深度图进行平滑去噪之前，所述方法还包括：获取相机内外参数，深度范围和立体匹配关联视图信息；利用所述原始图像和其对应所述关联视图信息，通过立体匹配算法计算得到每张所述原始图像的所述深度图。3.根据权利要求1所述的方法，其特征在于，所述对每张深度图进行平滑去噪，包括：利用非线性双边滤波的方法对每张所述深度图进行平滑去噪。4.根据权利要求1所述的方法，其特征在于，所述基于所述深度图对应的原始图像先验信息和邻域深度信息补全所述深度图中所存在的孔洞区域，包括：将每张所述原始图像分割为多个联通区；结合每个所述联通区对应的所述深度图的深度值，对每个所述联通区进行平面检测；确定符合平面特征的所述联通区的平面方程，获得每张所述原始图像的平面方程集合；搜索每张所述深度图的空洞区域，获得每张所述深度图的空洞区域点集；其中，所述空洞区域为所述深度图中的无效值区域；比较所述空洞区域与预设尺寸值；若所述空洞区域小于所述预设尺寸值，根据所述邻域深度信息对所述空洞区域进行插值；若所述空洞区域大于所述预设尺寸值，判断所述空洞区域是否位于所述平面方程集合；若所述空洞区域位于所述平面方程集合，根据对应的所述平面方程对所述空洞区域进行插值。5.根据权利要求1所述的方法，其特征在于，所述将每张所述深度图的边缘区域中的不可靠深度值优化为可靠深度值，错误深度值优化为正确深度值，包括：采用边缘检测算子对所述原始图像进行边缘提取，并将所述边缘映射到所述深度图中；利用所述边缘将所述深度图分割为多个边缘区域...
【专利技术属性】
技术研发人员：董林佳，王江安，
申请(专利权)人：土豆数据科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。