深度图像修复方法、装置及可读存储介质制造方法及图纸

本发明专利技术公开了一种深度图像修复方法、装置及可读存储介质，其中，所述方法包括：获取待修复深度图的引导图像，其中，所述引导图像与所述待修复深度图的语义结构相同；通过卷积网络确定所述待修复深度图的第一私有特征，以及所述引导图像的第二私有特征；根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码；根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值。本发明专利技术旨在提高修复深度图像的效果。度图像的效果。度图像的效果。

【技术实现步骤摘要】
深度图像修复方法、装置及可读存储介质


[0001]本专利技术涉及图像修复领域，尤其涉及一种深度图像修复方法、装置及可读存储介质。

技术介绍

[0002]深度图像在计算机视觉许多任务中发挥了重要作用。然而，由于传感器技术的限制和不完善的成像条件，往往难以获得高分辨率的深度图像。
[0003]在相关技术中，为了提高深度图像的分辨率，可以基于过滤器使用高分辨率的RGB图像来指导低分辨深度图像中边缘的锐化。然而，在基于上述滤波方法处理纹理丰富的深度图像时，由于过滤器是为特定任务建模而设计的，在处理非特定任务时，可能会给深度图像增加不相关的信息，导致深度图像的内容发生变化，修复深度图像的效果并不佳。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种深度图像修复方法、装置及可读存储介质，旨在达成提高修复深度图像的效果。
[0006]为实现上述目的，本专利技术提供一种深度图像修复方法，所述深度图像修复方法包括：
[0007]获取待修复深度图的引导图像，其中，所述引导图像与所述待修复深度图的语义结构相同；
[0008]通过卷积网络确定所述待修复深度图的第一私有特征，以及所述引导图像的第二私有特征；
[0009]根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码；
[0010]根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值。
[0011]可选地，所述根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值的步骤包括：
[0012]确定所述修复图像中需要确定目标像素值的查询像素点，以及所述查询像素点在所述修复图像中的第一位置；
[0013]根据所述第一位置确定所述查询像素点在所述引导图像上的第二位置；
[0014]根据所述第二潜伏代码确定所述引导图像在所述第二位置对应的插值权重；
[0015]将所述插值权重作为所述第一位置的插值权重，并根据所述插值权重和所述第二潜伏代码确定所述查询像素点的目标像素值。
[0016]可选地，所述根据所述第二潜伏代码确定所述引导图像在所述第二位置对应的插
值权重的步骤包括：
[0017]确定所述引导图像中离所述第二位置最近的预设数量个角像素；
[0018]根据所述第二潜伏代码确定所述第二位置对应的像素值和所述角像素对应的像素值；
[0019]根据所述第二位置对应的像素值和所述角像素对应的像素值确定所述插值权重。
[0020]可选地，所述确定所述修复图像中需要确定目标像素值的查询像素点，以及所述查询像素点在所述修复图像中的第一位置的步骤包括：
[0021]将所述修复图像的各个像素点均作为所述查询像素点；或者
[0022]将所述待修复深度图与所述修复图像进行重合比较，确定所述修复图像中像素点位置不与所述待修复深度图中像素点位置发生重合的像素点为所述查询像素点。
[0023]可选地，所述根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值的步骤，还包括：
[0024]确定所述修复图像中查询像素点之外的其他像素点及所述其他像素点在所述修复图像中的第三位置；
[0025]根据所述第三位置和所述第二潜伏代码确定所述其他像素点的目标像素值。
[0026]可选地，所述根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码的步骤之前，还包括：
[0027]将所述待修复深度图输入边缘特征提取网络，所述边缘特征提取网络根据所述待修复深度图各个像素点的亮度值输出边缘特征；
[0028]将所述引导图像输入颜色特征提取网络，所述颜色特征提取网络分别根据所述待修复深度图在不同颜色通道中的颜色分量输出对应的颜色特征。
[0029]可选地，所述根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码的步骤包括：
[0030]基于相同的深度自注意力网络提取所述边缘特征和所述第一私有特征的第一全局特征，以及根据颜色特征和所述第二私有特征的第二全局特征；
[0031]通过预设编码器分别对第一全局特征和所述第二全局特征进行编码，对应得到所述第一潜伏代码和所述第二潜伏代码。
[0032]可选地，所述根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值的步骤之后，还包括：
[0033]获取所述待修复深度图对应的训练标准深度图像；
[0034]确定所述修复图像的目标像素值和所述训练标准深度图像的像素值的均方根误差；
[0035]当所述均方根误差大于预设值时，基于均方根误差对所述深度图像修复模型进行优化，重新执行所述获取待修复深度图以及所述待修复深度图对应的引导图像，所述引导图像的分辨率大于所述待修复深度图的分辨率的步骤。
[0036]此外，为实现上述目的，本专利技术还提供一种深度图像修复装置，所述深度图像修复装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的深度图像修复
程序，所述深度图像修复程序被所述处理器执行时实现如上所述的深度图像修复方法的步骤。
[0037]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有深度图像修复程序，所述深度图像修复程序被处理器执行时实现如上所述的深度图像修复方法的步骤。
[0038]本专利技术实施例提出的一种深度图像修复方法、装置及可读存储介质，先获取待修复深度图的引导图像，其中，所述引导图像与所述待修复深度图的语义结构相同；通过卷积网络确定所述待修复深度图的第一私有特征，以及所述引导图像的第二私有特征；根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码；根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值。这样本申请通过提取待修复深度图的边缘特征和引导图像的颜色特征，结合各自的私有特征，生成的第一潜伏代码和第二潜伏代码对修复后的深度图像更有意义，从而确定出的修复图像的像素值，与待修复深度图像的内容更加接近，可以避免深度图像修复后内容发生变化，提高修复深度图像的效果。
附图说明
[0039]图1是本专利技术实施例方案涉及的硬件运行环境的终端结构示意图；
[0040]图2为本专利技术深度图像修复方法的一实施例的流程示意图；
[0041]图3为本专利技术深度图像修复方法的另一实施例的流程示意图；
[0042]图4为本专利技术实施例涉及的深度图像修复模型结构示意图；
[0043]图5为本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像修复方法，其特征在于，所述深度图像修复方法包括：获取待修复深度图的引导图像，其中，所述引导图像与所述待修复深度图的语义结构相同；通过卷积网络确定所述待修复深度图的第一私有特征，以及所述引导图像的第二私有特征；根据所述第一私有特征和待修复深度图的边缘特征，确定第一潜伏代码，以及根据所述第二私有特征和所述引导图像的颜色特征确定第二潜伏代码；根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值。2.如权利要求1所述的深度图像修复方法，其特征在于，所述根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值的步骤包括：确定所述修复图像中需要确定目标像素值的查询像素点，以及所述查询像素点在所述修复图像中的第一位置；根据所述第一位置确定所述查询像素点在所述引导图像上的第二位置；根据所述第二潜伏代码确定所述引导图像在所述第二位置对应的插值权重；将所述插值权重作为所述第一位置的插值权重，并根据所述插值权重和所述第二潜伏代码确定所述查询像素点的目标像素值。3.如权利要求2所述的深度图像修复方法，其特征在于，所述根据所述第二潜伏代码确定所述引导图像在所述第二位置对应的插值权重的步骤包括：确定所述引导图像中离所述第二位置最近的预设数量个角像素；根据所述第二潜伏代码确定所述第二位置对应的像素值和所述角像素对应的像素值；根据所述第二位置对应的像素值和所述角像素对应的像素值确定所述插值权重。4.如权利要求2所述的深度图像修复方法，其特征在于，所述确定所述修复图像中需要确定目标像素值的查询像素点，以及所述查询像素点在所述修复图像中的第一位置的步骤包括：将所述修复图像的各个像素点均作为所述查询像素点；或者将所述待修复深度图与所述修复图像进行重合比较，确定所述修复图像中像素点位置不与所述待修复深度图中像素点位置发生重合的像素点为所述查询像素点。5.如权利要求4所述的深度图像修复方法，其特征在于，所述根据所述第一潜伏代码和所述第二潜伏代码确定修复图像各个像素点的目标像素值的步骤，还包括：确定所述修复图像中查询像素点之外的其他像素点及所述其他像素点在所述修复图像中的第三位置；根据所述第三位置...

【专利技术属性】
技术研发人员：温阳，赵鹏飞，吉建华，曹文明，吴依林，
申请(专利权)人：深圳大学，
类型：发明
国别省市：