一种深度图去噪方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种深度图去噪方法、装置、电子设备及介质；该方法包括：选取一个拍摄场景作为当前拍摄场景，通过相机获取当前拍摄场景的图像；基于图像构建出当前拍摄场景对应的当前数据对；重复执行上述操作，直到构建出各个拍摄场景对应的数据对；使用各个拍摄场景对应的数据对构建出数据集，并基于数据集和损失函数对待训练的深度图去噪模型进行训练，得到训练好的深度图去噪模型；使用训练好的深度图去噪模型对待处理的深度图进行去噪。本申请可以通过深度学习建立合适的网络模型，能够自适应地解决在真实深度图中出现的各类噪声，并且尽可能地保留目标对象的细节信息。尽可能地保留目标对象的细节信息。尽可能地保留目标对象的细节信息。

【技术实现步骤摘要】
一种深度图去噪方法、装置、电子设备及介质


[0001]本申请实施例涉及人工智能
，尤其涉及一种深度图去噪方法、装置、电子设备及介质。

技术介绍

[0002]散斑深度相机通常包括投影仪和双目相机两个组成部分。由于立体匹配算法需要依靠拍摄场景本身的特征来建立匹配关系，因此，越复杂的场景其匹配成功率越高，但是对于本身特征较少的拍摄场景，匹配算法难以正常工作，因此需要利用投影仪投射散斑图案来增加场景特征，再利用双目相机进行场景拍摄。
[0003]目前的散斑三维相机，受拍摄环境光源、拍摄物体的材质以及相机本身立体匹配算法的影响，导致最终输出的深度图存在噪声种类丰富，噪声幅度较大的问题，其对应的点云也同样会出现噪声点、浮点较多的现象，这些噪声对于各类三维任务而言有会明显的影响。因此对深度图进行去噪预处理是非常有必要的。
[0004]然而，目前现有的深度图去噪方法，基本上只能针对性地解决特定类型的噪声，并且还会损失一定的细节信息，在真实情况下这些去噪算法的表现并不佳。

技术实现思路

[0005]本申请提供一种深度图去噪方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图去噪方法，其特征在于，所述方法包括：选取一个拍摄场景作为当前拍摄场景，通过相机获取所述当前拍摄场景的图像；基于所述图像构建出所述当前拍摄场景对应的当前数据对；重复执行上述操作，直到构建出各个拍摄场景对应的数据对；使用各个拍摄场景对应的数据对构建出数据集，并基于所述数据集和预先设计的损失函数对待训练的深度图去噪模型进行训练，得到训练好的深度图去噪模型；其中，所述数据集包括：深度图和模板图；所述深度图包括无噪深度图和有噪深度图；所述模板图只包括有噪模板图；所述损失函数包括二维深度图损失函数和三维点云损失函数；使用所述训练好的深度图去噪模型对待处理的深度图进行去噪。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像构建出所述当前拍摄场景对应的当前数据对，包括：基于所述图像得到所述当前拍摄场景对应的当前有噪数据；并基于所述图像得到所述当前拍摄场景对应的当前无噪数据；使用所述当前有噪数据和所述当前无噪数据构建出所述当前数据对。3.根据权利要求2所述的方法，其特征在于，所述基于所述图像得到所述当前拍摄场景对应的当前有噪数据，包括：在所述图像中确定出所述当前拍摄场景的像点；基于预先确定的所述当前拍摄场景的物点将所述像点进行图像匹配，得到所述像点的匹配结果；基于所述像点的匹配结果，得到所述当前有噪数据。4.根据权利要求3所述的方法，其特征在于，所述基于所述像点的匹配结果，得到所述当前有噪数据，包括：基于所述像点的匹配结果，获取所述当前拍摄场景对应的有噪视差图；基于所述当前拍摄场景对应的有噪视差图，得到所述当前拍摄场景对应的有噪深度图和有噪物体遮挡模板；将所述有噪深度图和所述有噪物体遮挡模板作为所述当前有噪数据。5.根据权利要求2所述的方法，其特征在于，所述基于所述图像得到所述当前拍摄场景对应的当前无噪数据，包括：在所述图像中确定出所述当前拍摄场景的像点；通过虚拟引擎计算从所述相机的光心发射经过所述像点到达预先确定的所述当前拍摄场景的物点的光线的真实距离以及所述光线与所述图像平面的夹角；基于所述光线的真实距离以及所述光线与所述图像平面的夹角，得到所述当前无噪数据。6.一种深度图去噪装置，其特征在于，所述装置包括：获取模块、构建模块、训练模块和去噪模块；其中，所述获取模块，用于选取一个拍摄场景作为当前拍摄场景，通过相机获取所述...

【专利技术属性】
技术研发人员：王子豪，吴迪，陈永炜，邹龙坤，
申请(专利权)人：跃维佛山智能科技有限公司，
类型：发明
国别省市：