深度图像的处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种深度图像的处理方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：获取彩色图像以及所述彩色图像对应的深度图像；基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。图像块。图像块。

【技术实现步骤摘要】
深度图像的处理方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，特别涉及一种深度图像的处理方法、装置、设备及存储介质。

技术介绍

[0002]深度图像是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像。
[0003]相关技术中，通过深度估计算法对彩色图像进行处理，得到对应的深度图像，但由于深度图像表征的是场景中全部区域的深度值，在边缘像素占全部图像像素比例较低的情况下，很难从深度图像中确定出准确的边缘深度，因此为了对场景中不同物体的边缘位置进行确认，需要对深度图像中的边缘深度进行更加精准地确认。

技术实现思路

[0004]本申请实施例提供了一种深度图像的处理方法、装置、设备及存储介质，能够提高对深度图像中深度边缘的优化效率。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种深度图像的处理方法，所述方法包括：
[0006]获取彩色图像以及所述彩色图像对应的深度图像；
[0007]基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；
[0008]从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；
[0009]基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；
[0010]将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。
[0011]另一方面，本申请实施例提供了一种深度图像的处理方法，所述方法包括：
[0012]获取样本彩色图像以及所述样本彩色图像对应的样本深度图像；
[0013]基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，所述第一样本深度图像块沿所述深度边缘分布；
[0014]从所述样本彩色图像中提取所述第一样本深度图像块对应的样本彩色图像块；
[0015]基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块；
[0016]基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失；
[0017]基于所述边缘细化损失训练所述细化网络。
[0018]另一方面，本申请实施例提供了一种深度图像的处理装置，所述装置包括：
[0019]图像获取模块，用于获取彩色图像以及所述彩色图像对应的深度图像；
[0020]图像块提取模块，用于基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；
[0021]所述图像块提取模块，还用于从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；
[0022]边缘细化模块，用于基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；
[0023]图像块替换模块，用于将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。
[0024]另一方面，本申请实施例提供了一种深度图像的处理装置，所述装置包括：
[0025]图像获取模块，用于获取样本彩色图像以及所述样本彩色图像对应的样本深度图像；
[0026]图像块提取模块，用于基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，所述第一样本深度图像块沿所述深度边缘分布；
[0027]所述图像块提取模块，还用于从所述样本彩色图像中提取所述第一样本深度图像块对应的样本彩色图像块；
[0028]边缘细化模块，用于基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块；
[0029]损失确定模块，用于基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失；
[0030]网络训练模块，用于基于所述边缘细化损失训练所述细化网络。
[0031]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的深度图像的处理方法。
[0032]另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的深度图像的处理方法。
[0033]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的深度图像的处理方法。
[0034]本申请实施例中，基于深度图像中的深度边缘，从第一深度图像中提取出第一深度图像块并从彩色图像中对应的提取出彩色图像块，从而基于彩色图像块和第一深度图像块，对第一深度图像块进行边缘细化，得到深度边缘精度高于第一深度图像块的第二深度图像块，进而以第二深度图像块替换深度图像中的第一深度图像块，实现对深度图像中深度边缘的优化，采用本申请实施例提供的方案，通过提取深度图像块的方式对深度边缘进行精准的细化，提高了对深度图像中深度边缘的优化效率，减少了细化深度边缘过程中的计算量。
附图说明
[0035]图1示出了本申请一个示例性实施例提供的实施场景的示意图；
[0036]图2是本申请一个示例性实施例提供的深度图像的处理方法的流程图；
[0037]图3是本申请另一个示例性实施例提供的深度图像的处理方法的流程图；
[0038]图4是本申请另一个示例性实施例提供的深度图像的处理方法的流程图；
[0039]图5是本申请一个示例性实施例提供的深度图像处理过程的示意图；
[0040]图6是本申请另一个示例性实施例提供的深度图像的处理方法的流程图；
[0041]图7是本申请一个示例性实施例提供的确定参考深度图像块过程的示意图；
[0042]图8是本申请一个示例性实施例提供的细化网络训练过程的示意图；
[0043]图9是本申请一个示例性实施例提供的深度图像的处理装置的结构框图；
[0044]图10是本申请另一个示例性实施例提供的深度图像的处理装置的结构框图；
[0045]图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
[0046]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0047]人工智能(Artificial 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像的处理方法，其特征在于，所述方法包括：获取彩色图像以及所述彩色图像对应的深度图像；基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，所述第一深度图像块沿所述深度边缘分布；从所述彩色图像中提取所述第一深度图像块对应的彩色图像块；基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，所述第二深度图像块中所述深度边缘的精度高于所述第一深度图像块中所述深度边缘的精度；将所述深度图像中的所述第一深度图像块替换为所述第二深度图像块。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块，包括：将所述第一深度图像块和所述彩色图像块输入细化网络，得到所述细化网络输出的深度残差，所述深度残差用于表征所述第一深度图像块中像素点的深度调整量；利用所述深度残差对所述第一深度图像块进行边缘细化，得到所述第二深度图像块。3.根据权利要求2所述的方法，其特征在于，所述将所述第一深度图像块和所述彩色图像块输入细化网络，得到所述细化网络输出的深度残差，包括：对所述第一深度图像块的深度通道以及所述彩色图像块的色彩通道进行通道对齐；将通道对齐后的所述第一深度图像块和所述彩色图像块输入所述细化网络，得到所述细化网络输出的所述深度残差。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块之前，所述方法还包括：基于缩放比例，对所述第一深度图像块以及所述彩色图像块进行缩放处理，其中，缩放处理后的所述第一深度图像块和所述彩色图像块用于进行边缘细化；所述基于所述第一深度图像块以及所述彩色图像块，对所述第一深度图像块进行边缘细化，得到第二深度图像块之后，所述方法还包括：基于所述缩放比例，对所述第二深度图像块进行缩放还原处理，其中，缩放还原处理后的所述第二深度图像用于替换所述第一深度图像。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：确定当前深度识别场景的精确度需求；基于所述精确度需求确定所述缩放比例，所述缩放比例与所述精确度需求呈正相关关系。6.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像中的深度边缘，从所述深度图像中提取第一深度图像块，包括：基于边缘提取算子从所述深度图像提取所述深度边缘；通过滑动窗口创建覆盖所述深度边缘的候选方框；从所述候选方框中筛选出目标方框，所述目标方框覆盖所述深度边缘，且所述目标方框的稠密度小于所述候选方框的稠密度；基于所述目标方框的位置，从所述深度图像中提取所述第一深度图像块；
所述从所述彩色图像中提取所述第一深度图像块对应的彩色图像块，包括：基于所述目标方框的位置，从所述彩色图像中提取所述第一深度图像块对应的所述彩色图像块。7.一种深度图像的处理方法，其特征在于，所述方法包括：获取样本彩色图像以及所述样本彩色图像对应的样本深度图像；基于所述样本深度图像中的深度边缘，从所述样本深度图像中提取第一样本深度图像块，所述第一样本深度图像块沿所述深度边缘分布；从所述样本彩色图像中提取所述第一样本深度图像块对应的样本彩色图像块；基于所述第一样本深度图像块以及所述样本彩色图像块，通过细化网络对所述第一样本深度图像块进行边缘细化，得到第二样本深度图像块；基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失；基于所述边缘细化损失训练所述细化网络。8.根据权利要求7所述的方法，其特征在于，所述基于所述第二样本深度图像块以及所述第二样本深度图像块对应的参考深度图像块，确定边缘细化损失之前，所述方法包括：基于所述第一样本深度图像块以及真值深度图像，生成所述第二样本深度图像块对应的所述参考深度图像块。9.根据权利要求8所述的方法，其特征在于，所述基于所述第一样本深度图像块以及真值深度图像，生成所述第二样本深度图像块对应的所述参考深度图像块，包括：从所述真值深度图像中提取所述第一样本深度图像块对应的真值深度图像块；基于所述第一样本深度图像块生成边缘掩膜，所述边缘掩膜用于表征边缘区域以及非边缘区域；基于所述真值深度图像块生成前后景掩膜，所述前后景掩膜用于表征前景区域和背景区域；基于所述边缘掩膜以及所述前后景掩膜，对位于所述深度边缘的像素点进行深度值更新，得到所述参考深度图像块。10.根据权利要求9所述的方法，其特征在于，所述基于所述边缘掩膜以及所述前后景掩膜，对位于所述深度边缘的像素点进行深度值更新，得到所述参考深度图像块，包括：基于所述边缘掩膜和所述前后景掩膜，生成前景边缘掩膜以及前景非边缘掩膜；基于所述前景非边缘掩膜所表征前景非边缘区域的前景非边缘深度，更新所述前景边缘掩膜所表征前景边缘区域内像素点的深度值，其中，所述前景非边缘深度属于所述第一样本深度图像块；基于所述边缘掩膜和所述前后景掩膜，生成背景边缘掩膜以及背景非边缘掩膜；基于所述背景非边缘掩膜所表征背景非边缘区域的背景非边缘深度，更新所述背景边缘掩膜所表征背景边缘区域内像素点的深度值，其中，所述背景非边缘深度属于所述第一样本深度图像块。11.根据权利要求10所述的方法，其特征在于，所述基于所述前景边缘掩膜所表征前景非边缘区域的前景非边缘深度，更新所述前景边缘掩膜所表征前景边缘区域内像素点的深度值，包括：
对于所述前景边缘区域内的前景...

【专利技术属性】
技术研发人员：邱轲，张晟浩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：