图像修复方法及相关产品技术

本申请提供了一种图像修复方法、装置及计算机存储介质，方法包括：获取第一深度图像和第二深度图像；将第一深度图像和第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像；将对齐后的第一深度图像和对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，其中，第三深度图像的信噪比大于第一深度图像的信噪比，第三深度图像的信噪比大于第二深度图像的信噪比。

【技术实现步骤摘要】
图像修复方法及相关产品
本申请涉及机器视觉领域，尤其涉及一种图像修复方法及相关产品。
技术介绍
随着机器视觉技术的快速发展，深度图像被广泛地应用于多个领域，例如安防监控、资源勘探、自动驾驶、三维重建等等。深度图像可以由深度相机对物体进行拍摄得到。当深度相机在拍摄远距离或者高吸光率物体时，拍摄得到的深度图像中可能包含了大量的噪点，从而严重影响了深度图像的质量。现有技术中主要通过高斯滤波器、深度学习算法进行单帧深度图像的修复，但是本领域的技术人员在长期研究下发现，通过这些普通方式修复得到的深度图像的效果并不理想。
技术实现思路
本申请实施例公开了一种图像修复方法及相关产品，能够有效地提高深度图像的质量。第一方面，本申请提供了一种图像修复方法，所述方法包括：获取第一深度图像和第二深度图像；将所述第一深度图像和所述第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像；将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，其中，所述第三深度图像的信噪比大于所述第一深度图像的信噪比，所述第三深度图像的信噪比大于所述第二深度图像的信噪比。实施第一方面所描述的方法，通过对低信噪比的第一深度图像和低信噪比的第二深度图像进行对齐处理，可以得到对齐后的第一深度图像和对齐后的第二深度图像；然后将对齐后的第一深度图像和对齐后的第二深度图像进行融合处理，从而得到高信噪比的第三深度图像。可以看出，利用上述方法可以提高深度图像的信噪比，从而大大提高深度图像的质量。进一步地，利用上述方法获得的第三深度图像进行检测或者识别时，可以提高了检测或识别的准确率。在一些可能的设计中，在将所述第一深度图像和第二深度图像进行对齐处理之前，所述方法还包括：获取所述第一深度图像对应的第一置信图像、所述第二深度图像对应的第一置信图像，其中，所述第一置信图像指示所述第一深度图像的置信度，所述第二置信图像指示所述第二深度图像的置信度；所述将所述第一深度图像和第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像，包括：根据所述第一置信图像和所述第二置信图像，将所述第一深度图像和所述第二深度图像进行对齐处理，从而得到所述对齐后的第一深度图像和所述对齐后的第二深度图像。在一些可能的设计中，所述根据所述第一置信图像和所述第二置信图像，将所述第一深度图像和所述第二深度图像进行对齐处理，从而得到所述对齐后的第一深度图像和所述对齐后的第二深度图像，包括：根据所述第一置信图像和所述第二置信图像，确定对齐卷积核的位移参数；利用所述对齐卷积核对所述第一深度图像和所述第二深度图像分别进行卷积处理，得到所述对齐后的第一深度图像、所述对齐后的第二深度图像。可以看出，利用第一置信图像和第二置信图像可以辅助第一深度图像和第二深度图像进行更加精确的对齐。在一些可能的设计中，在将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理之前，所述方法还包括：利用所述对齐卷积核对所述第一置信图像和所述第二置信图像分别进行卷积处理，得到对齐后的第一置信图像和对齐后的第二置信图像；所述将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，包括：根据所述对齐后的第一置信图像和所述对齐后的第二置信图像，将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到所述第三深度图像。在一些可能的设计中，所述根据所述对齐后的第一置信图像和所述对齐后的第二置信图像，将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到所述第三深度图像，包括：根据所述对齐后的第一深度图像、所述对齐后的第二深度图像、所述对齐后的第一置信图像以及所述对齐后的第二置信图像进行卷积处理，得到注意力矩阵；将所述对齐后的第一深度图像、所述对齐后的第二深度图像、所述对齐后的第一置信图像以及所述对齐后的第二置信图像分别与所述注意力矩阵相乘，得到第一注意力图像、第二注意力图像、第三注意力图像以及第四注意力图像；利用反卷积核对所述第一注意力图像、所述第二注意力图像、所述第三注意力图像以及所述第四注意力图像进行反卷积处理，得到所述第三深度图像。可以看出，利用对齐后的第一置信图像和对齐后的第二置信图像可以辅助对齐后的第一深度图像和对齐后的第二深度图像更加精确的融合，从而提高第三深度图像的信噪比。在一些可能的设计中，基于卷积神经网络将所述第一深度图像和所述第二深度图像进行对齐处理，以及将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理。在一些可能的设计中，所述方法还包括：获取训练样本，其中，所述训练样本包括第一深度图像样本和所述第一深度图像样本对应的置信图像样本；将所述训练样本输入所述卷积神经网络，得到修复后的深度图像；获取所述训练样本对应的第二深度图像样本，其中，所述第二深度图像样本的信噪比大于所述第一深度图像样本的信噪比；根据所述修复后的深度图像和所述第二深度图像样本，确定所述卷积神经网络对所述训练样本进行图像修复时的修复误差；根据所述修复误差，调整所述卷积神经网络的网络参数。在一些可能的设计中，所述训练样本为所述摄像头在曝光时间小于第一阈值的情况下，在至少两个不同的位置处拍摄得到的；所述第二深度图像样本为所述摄像头在曝光时间大于第二阈值的情况下拍摄得到的深度图像。在一些可能的设计中，在所述获取训练样本之前，所述方法还包括：获取原始训练样本，其中，所述原始训练样本包括原始深度图像样本和所述原始深度图像样本对应的置信图像样本，所述原始训练样本为所述摄像头在曝光时间小于第一阈值的情况下，在同一位置处拍摄得到的；在所述原始训练样本包括的样本中添加三维扰动，生成所述训练样本；所述第二深度图像样本为所述摄像头在曝光时间大于第二阈值的情况下拍摄得到的，或所述第二深度图像样本为将所述原始深度图像样本进行加权平均计算得到的。第二方面，本申请提供了一种图像修复装置，所述装置包括获取单元、对齐单元以及融合单元，所述获取单元用于获取第一深度图像和第二深度图像；所述对齐单元用于将所述第一深度图像和所述第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像；所述融合单元用于将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，其中，所述第三深度图像的信噪比大于所述第一深度图像的信噪比，所述第三深度图像的信噪比大于所述第二深度图像的信噪比。实施第二方面所述描述的装置，可以将获得的低信噪比的第一深度图像和低信噪比的第二深度图像修复为高信噪比的第三深度图像，从而大大提高深度图像的质量。进一步地，可以将第三深度图像应用于自动驾驶、三维重建等对深度图像的精度要求较高的场景中。第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述处理器执行所述存储器中的代码执行如第一方面描述的方法。本文档来自技高网...

【技术保护点】
1.一种图像修复方法，其特征在于，所述方法包括：/n获取第一深度图像和第二深度图像；/n将所述第一深度图像和所述第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像；/n将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，其中，所述第三深度图像的信噪比大于所述第一深度图像的信噪比，所述第三深度图像的信噪比大于所述第二深度图像的信噪比。/n

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述方法包括：
获取第一深度图像和第二深度图像；
将所述第一深度图像和所述第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像；
将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，其中，所述第三深度图像的信噪比大于所述第一深度图像的信噪比，所述第三深度图像的信噪比大于所述第二深度图像的信噪比。


2.根据权利要求1所述的方法，其特征在于，在将所述第一深度图像和第二深度图像进行对齐处理之前，所述方法还包括：
获取所述第一深度图像对应的第一置信图像、所述第二深度图像对应的第一置信图像，其中，所述第一置信图像指示所述第一深度图像的置信度，所述第二置信图像指示所述第二深度图像的置信度；
所述将所述第一深度图像和第二深度图像进行对齐处理，得到对齐后的第一深度图像和对齐后的第二深度图像，包括：
根据所述第一置信图像和所述第二置信图像，将所述第一深度图像和所述第二深度图像进行对齐处理，从而得到所述对齐后的第一深度图像和所述对齐后的第二深度图像。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第一置信图像和所述第二置信图像，将所述第一深度图像和所述第二深度图像进行对齐处理，从而得到所述对齐后的第一深度图像和所述对齐后的第二深度图像，包括：
根据所述第一置信图像和所述第二置信图像，确定对齐卷积核的位移参数；
利用所述对齐卷积核对所述第一深度图像和所述第二深度图像分别进行卷积处理，得到所述对齐后的第一深度图像、所述对齐后的第二深度图像。


4.根据权利要求3所述的方法，其特征在于，在将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理之前，所述方法还包括：
利用所述对齐卷积核对所述第一置信图像和所述第二置信图像分别进行卷积处理，得到对齐后的第一置信图像和对齐后的第二置信图像；
所述将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到融合后的第三深度图像，包括：
根据所述对齐后的第一置信图像和所述对齐后的第二置信图像，将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到所述第三深度图像。


5.根据权利要求4所述的方法，其特征在于，所述根据所述对齐后的第一置信图像和所述对齐后的第二置信图像，将所述对齐后的第一深度图像和所述对齐后的第二深度图像进行融合处理，得到所述第三深度图像，包括：
根据所述对齐后的第一深度图像、所述对齐后的第二深度图像、所述对齐后的第一置信图像以及所述对齐后的第二置信图像进行卷积处理，得到注意力矩阵；
将所述对齐后的第一深度图像、所述对齐后的第二深度图像、所述对齐后的第一置信图像以及所述对齐后的第二置信图像分别与所述注意力矩阵相乘，得到第一注意力图像、第二注意力图像、第三注意力图像以及第四注意力图像；
利用反卷积核对所述第一注意力...

【专利技术属性】
技术研发人员：陈岩，任思捷，程璇晔，王鲁阳，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44