深度补全方法、装置、电子设备及存储介质制造方法及图纸

技术编号：43168330 阅读：15 留言：0更新日期：2024-11-01 19:59

本申请提供一种深度补全方法、装置、电子设备及存储介质，应用于数据处理技术领域。该方法包括：获取RGB图像、稀疏深度图以及所述稀疏深度图的稀疏法向图；通过将所述RGB图像输入Transformer模型得到第一稠密深度图与第一置信度图，通过将所述稀疏深度图输入所述Transformer模型得到第二稠密深度图与第二置信度图，通过将所述稀疏法向图输入所述Transformer模型得到第三稠密深度图与第三置信度图；通过对所述第一稠密深度图、所述第一置信度图、所述第二稠密深度图、所述第二置信度图、所述第三稠密深度图以及所述第三置信度图进行融合处理，得到目标稠密深度图。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及图像处理，尤其涉及一种深度补全方法、装置、电子设备及存储介质。

技术介绍

1、随着自动驾驶、三维重建、增强现实、位姿估计等技术的快速发展，对深度信息的完整性和准确性要求也相应提高。然而，由深度传感器直接获得的深度图由于过于稀疏且包含较多噪声不能直接应用于后续任务。从稀疏的深度图恢复密集的深度图，是深度补全的主要任务，生成的高精度的深度图可以更好的应用于自动驾驶、场景理解、三维重建、位姿估计、增强现实等后续任务，发挥实用价值。

2、在室内环境中，若没有强光的影响，结构光传感器获得的深度图通常伴有20％左右的缺失值。深度缺失可以分为两种类型：第一种是物体表面随机分布的空洞，此类缺失值可以根据其邻域中的有效深度值预测估计；第二种是较大而连续的缺失深度斑块，通常出现在图像前景和背景的边界。因此深度补全任务早期普遍采用传统的图像处理方法对相对密集的深度数据进行处理，如采用基于联合双边滤波框架的空洞填充方法，同时利用空间和时间信息对深度值缺失的像素进行处理；或通过概率模型来捕捉结构光系统深度测量过程中的各种不确定性，有效区分前

【技术保护点】

1.一种深度补全方法，其特征在于，包括：

2.根据权利要求1所述的深度补全方法，其特征在于，所述获取RGB图像、稀疏深度图以及所述稀疏深度图的稀疏法向图之后，所述方法还包括：

3.根据权利要求1所述的深度补全方法，其特征在于，所述Transformer模型包括三个预测支路，每个预测支路均包括编码器网络和解码器网络，所述编码器网络包括三层自注意力模块与图像块合并层，所述解码器网络包括亚像素卷积层和两层自注意力模块，所述自注意力模块用于提取瓶颈特征，所述图像块合并层用于实现通道数调整与特征图下采样，所述亚像素卷积层用于实现上采样和特征重建。