稀疏深度图的深度补齐方法、装置及三维重建方法、装置制造方法及图纸

本发明专利技术公开了一种稀疏深度图的深度补齐方法、装置及三维重建方法、装置，该稀疏深度图的深度补齐方法包括：分别采用至少两种插值算法对稀疏深度图进行处理以得到对应的经处理的稀疏深度图；分别获取稀疏深度图中各特征点在每个经处理的稀疏深度图的深度值；保留深度值的差异小于预定阈值的特征点；根据所保留的特征点获取稠密深度图。通过实施本发明专利技术，实现了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，为利用稠密深度图进行三维重建提供了准确的数据基础。

Depth Completion Method, Device and Three-Dimensional Reconstruction Method and Device for Sparse Depth Map

【技术实现步骤摘要】
稀疏深度图的深度补齐方法、装置及三维重建方法、装置
本专利技术涉及计算机视觉
，具体涉及稀疏深度图的深度补齐方法、装置及三维重建方法、装置。
技术介绍
三维重建是一种对三维物体建立适用于计算机处理的数学模型的技术，也是在计算机环境下对三维物体进行处理和分析的基础，更是在计算机中建立用于表达客观世界的虚拟现实的关键技术。三维重建是指利用物体的二维投影恢复该物体的三维信息(形状等)的数学过程和计算机技术，包括数据获取、预处理、点云拼接(融合)和特征分析等步骤。目前，通过图像采集设备在不同位置采集目标场景的图像，得到目标场景的稀疏深度图像，再通过对稀疏深度图像进行深度补齐，得到稠密深度图像，进而根据稠密深度图像构建出目标场景的三维模型是一种常规的三维重建方法之一。其中，对稀疏深度图像进行深度补齐的方法，直接决定了对稠密深度图像与真实场景图像的匹配程度，进而直接影响最终三维模型的重建效果。
技术实现思路
有鉴于此，本专利技术实施例提供了一种稀疏深度图的深度补齐方法、装置及三维重建方法、装置以实现对稀疏深度图的深度补齐，得到稠密深度图像。根据第一方面，本专利技术实施例提供了一种稀疏深度图的深度补齐方法，包括：分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；保留所述深度值的差异小于预定阈值的特征点；根据所保留的特征点获取稠密深度图。可选地，所述深度值的差异包括：深度值的差值和/或深度值的平方差。可选地，述根据所保留的特征点获取稠密深度图包括：各所述保留的特征点构成完整深度图；获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图。可选地，所述获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图，包括：根据所述稀疏深度图的分辨率对所述原始图像进行处理；根据处理后的原始图像对所述完整深度图像进行滤波；根据所述处理后的原始图像及滤波后的完整深度图采用预设滤波算法对所述滤波后的完整深度图进行迭代滤波，得到所述稠密深度图。可选地，所述稀疏深度图的深度补齐方法还包括：判断所述稠密深度图的分辨率是否低于所述原始图像的分辨率；当所述稠密深度图的分辨率低于所述原始图像时，将所述稀疏深度图更新为所述稠密深度图，并返回所述采用至少两种预设插值算法分别对所述稀疏深度图进行上采样，得到各所述预设差值算法对应的中间稀疏深度图的步骤，直至所述稠密深度图的分辨率与所述原始图像的分辨率相同。根据第二方面，本专利技术实施例还提供了一种获取至少一组包含场景目标的等效双目图像信息；根据各组等效双目图像信息建立对应的稀疏深度图；采用上述方法实施例所述的稀疏深度图的深度补齐方法，对各所述稀疏深度图进行深度补齐，得到各稠密深度图；根据所述等效双目图像信息将各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。可选地，每组所述等效双目图像信息包括在第一预设位置获取的第一图像和对应的第一位姿以及在第二预设位置获取的第二图像和对应的第二位姿；每组所述等效双目图像信息的获取方法包括：根据所述场景目标的所述第一预设位置及所述第二预设位置，得到当前组的等效基线；根据所述等效基线确定所述场景目标的所述第一位姿及所述第二位姿；根据所述第一位姿控制图像获取设备在所述第一预设位置获取所述第一图像；根据所述第二位姿控制图像获取设备在所述第二预设位置获取所述第二图像，所述第一图像与所述第二图像构成一组等效双目图像。可选地，所述根据各组等效双目图像信息建立对应的稀疏深度图包括：对每一组所述等效双目图像信息中的所述第一图像及所述第二图像进行特征匹配，得到多组特征点信息；根据所述特征点信息分别计算特征点的视差信息；根据所述视差信息及所述等效基线得到各特征点的深度信息；根据各特征点的深度信息建立对应的所述稀疏深度图。可选地，在所述根据所述视差信息及所述等效基线得到各特征点的深度信息之后，在所述根据各特征点的深度信息建立对应的所述稀疏深度图之前，所述三维重建方法还包括：根据预设坐标范围及当前组所述特征点的深度信息，得到多个特征点区域；分别计算所述特征点区域所包含的各特征点的平均深度信息；每个特征点区域对应一个特征点，将所述平均深度信息确定为所述特征点区域对应的特征点的深度信息。根据第三方面，本专利技术实施例还提供了一种稀疏深度图的深度补齐装置，包括：第一处理模块，用于分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；第二处理模块，用于分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；第三处理模块，用于保留所述深度值的差异小于预定阈值的特征点；第四处理模块，用于根据所保留的特征点获取稠密深度图。根据第四方面，本专利技术实施例还提供了一种三维重建装置，包括：第五处理模块，用于获取至少一组包含场景目标的等效双目图像信息；第六处理模块，用于根据各组等效双目图像信息建立对应的稀疏深度图；第七处理模块，用于采用如权利要求10所述的稀疏深度图的深度补齐装置，对各所述稀疏深度图进行深度补齐，得到各稠密深度图；第八处理模块，用于根据所述等效双目图像信息将各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。根据第五方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者其任意一种可选实施方式中所述的稀疏深度图的深度补齐方法，或者执行第二方面，或者其任意一种可选实施方式中所述的三维重建方法。根据第六方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面，或者其任意一种可选实施方式中所述的稀疏深度图的深度补齐方法，或者执行第二方面，或者其任意一种可选实施方式中所述的三维重建方法。本专利技术技术方案，具有如下有益效果：本专利技术实施例提供的稀疏深度图的深度补齐方法，通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图。从而提供了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，为利用稠密深度图进行三维重建提供了准确的数据基础。本专利技术实施例提供的三维重建方法，通过获取至少一组包含场景目标的等效双目图像信息，并根据各组等效双目图像信息建立对应的稀疏深度图，然后通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图，最后对稠密深度图进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标的三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】
1.一种稀疏深度图的深度补齐方法，其特征在于，包括：分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；保留所述深度值的差异小于预定阈值的特征点；根据所保留的特征点获取稠密深度图。

【技术特征摘要】
1.一种稀疏深度图的深度补齐方法，其特征在于，包括：分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；保留所述深度值的差异小于预定阈值的特征点；根据所保留的特征点获取稠密深度图。2.根据权利要求1所述的稀疏深度图的深度补齐方法，其特征在于，所述深度值的差异包括：深度值的差值和/或深度值的平方差。3.根据权利要求1所述的稀疏深度图的深度补齐方法，其特征在于，所述根据所保留的特征点获取稠密深度图包括：各所述保留的特征点构成完整深度图；获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图。4.根据权利要求3所述的稀疏深度图的深度补齐方法，其特征在于，所述获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图，包括：根据所述稀疏深度图的分辨率对所述原始图像进行处理；根据处理后的原始图像对所述完整深度图像进行滤波；根据所述处理后的原始图像及滤波后的完整深度图采用预设滤波算法对所述滤波后的完整深度图进行迭代滤波，得到所述稠密深度图。5.根据权利要求1所述的稀疏深度图的深度补齐方法，其特征在于，还包括：判断所述稠密深度图的分辨率是否低于所述原始图像的分辨率；当所述稠密深度图的分辨率低于所述原始图像时，将所述稀疏深度图更新为所述稠密深度图，并返回所述采用至少两种预设插值算法分别对所述稀疏深度图进行上采样，得到各所述预设差值算法对应的中间稀疏深度图的步骤，直至所述稠密深度图的分辨率与所述原始图像的分辨率相同。6.一种三维重建方法，其特征在于，包括：获取至少一组包含场景目标的等效双目图像信息；根据各组等效双目图像信息建立对应的稀疏深度图；采用如权利要求1－3任一项所述的稀疏深度图的深度补齐方法，对各所述稀疏深度图进行深度补齐，得到各稠密深度图；根据所述等效双目图像信息将各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。7.根据权利要求6所述的三维重建方法，其特征在于，每组所述等效双目图像信息包括在第一预设位置获取的第一图像和对应的第一位姿以及在第二预设位置获取的第二图像和对应的第二位姿；每组所述等效双目图像信息的获取方法包括：根据所述场景目标的所述第一预设位置及所述第二预设位置，得到当前组的等效基线；根据所述等效基线确定所述场景目标的所述第一位姿及所述第二位姿；根据所述第一位姿控制图像获取设备在所述第一预设位...

【专利技术属性】
技术研发人员：陈崇雨，卫彦智，赵东，林倞，
申请(专利权)人：暗物智能科技广州有限公司，
类型：发明
国别省市：广东,44