人像深度图的处理方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例提供了一种人像深度图的处理方法、装置、存储介质及电子设备。本申请实施例提供的人像深度图的处理方法应用于具有人像的待处理图像，首先获取待处理图像以及待处理图像的原始深度图；然后根据待处理图像，确定待处理图像中的人体部位；从而根据人体部位对原始深度图中的深度信息进行校正，得到校正后的深度图。本申请实施例可以根据特定的人体部位对原始深度图中的深度信息进行校正，使得人体部位的深度信息更加准确。校正后的深度图相比原始深度图，人像深度信息的精确度得到了提高。提高。提高。

【技术实现步骤摘要】
人像深度图的处理方法、装置、存储介质及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种人像深度图的处理方法、装置、存储介质及电子设备。

技术介绍

[0002]近年来，由于计算机视觉技术的发展，深度信息的获取和处理已成为热门研究方向之一。深度图像包含了场景的深度信息，反映物体可见表面的几何形状和物体到相机的距离，在三维重建、人体识别、机器人导航、文物保护、人机交互等领域都能得到广泛的应用。其中，人像深度信息对于做人像相关的应用如大光圈人像模式、艺术照、重打光、AR/VR特效以及3D体感游戏等都十分重要。
[0003]然而，目前相关技术中，获取的人像深度信息不够精确。

技术实现思路

[0004]本申请实施例提供一种人像深度图的处理方法、装置、存储介质及电子设备，能够提高人像深度信息的精确度。
[0005]本申请实施例提供一种人像深度图的处理方法，应用于具有人像的待处理图像，包括：
[0006]获取待处理图像以及所述待处理图像的原始深度图；
[0007]根据所述待处理图像，确定所述待处理图像中的人体部位；
[0008]根据所述人体部位对所述原始深度图中的深度信息进行校正，得到校正后的深度图。
[0009]本申请实施例还提供了一种人像深度图的处理装置，应用于具有人像的待处理图像，包括：
[0010]获取模块，用于获取待处理图像以及所述待处理图像的原始深度图；
[0011]确定模块，用于根据所述待处理图像，确定所述待处理图像中的人体部位；
[0012]校正模块，用于根据所述人体部位对所述原始深度图中的深度信息进行校正，得到校正后的深度图。
[0013]本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行，以实现本申请实施例提供的任一种人像深度图的处理方法中的步骤。
[0014]本申请实施例还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序，以实现本申请实施例提供的任一种人像深度图的处理方法中的步骤。
[0015]本申请实施提供的人像深度图的处理方法，首先获取待处理图像以及所述待处理图像的原始深度图；然后根据待处理图像，确定待处理图像中的人体部位；从而根据人体部位对原始深度图中的深度信息进行校正，得到校正后的深度图。本申请实施例可以根据特
定的人体部位对原始深度图中的深度信息进行校正，使得人体部位的深度信息更加准确。校正后的深度图相比原始深度图，人像深度信息的精确度得到了提高。
附图说明
[0016]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例提供的场景示意图。
[0018]图2为本申请实施例提供的人像深度图的处理方法的第一种流程示意图。
[0019]图3为本申请实施例提供的深层神经网络模型的训练及应用流程示意图。
[0020]图4为本申请实施例提供的矩形框的示意图。
[0021]图5为本申请实施例提供的矩形框的扩张示意图。
[0022]图6为本申请实施例提供的人像深度图的处理方法的第二种流程示意图。
[0023]图7为本申请实施例提供的人像深度图的处理方法的第三种流程示意图。
[0024]图8为本申请实施例提供的人像深度图的处理方法的第四种流程示意图。
[0025]图9为本申请实施例提供的人像深度图的处理方法的第五种流程示意图。
[0026]图10为本申请实施例提供的人像深度图的处理方法的第六种流程示意图。
[0027]图11为本申请实施例提供的人像深度图的处理装置的第一种结构示意图。
[0028]图12为本申请实施例提供的人像深度图的处理装置的第二种结构示意图。
[0029]图13为本申请实施例提供的电子设备的第一种结构示意图。
[0030]图14是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
[0031]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有实施例，都属于本专利技术保护的范围。
[0032]本专利技术的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块和单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。
[0033]很多人像相关的应用如大光圈人像模式、艺术照、重打光、AR/VR特效以及3D体感游戏都要运用到人像深度信息，传统方法获得的人像深度信息中，人像的头部(包括发饰、头发、眼镜、耳朵、脖子)和手部(包括五指、手掌以及手腕)这些具有复杂外形结构的人体部位在深度估计中产生的误差较大。本申请根据这些特定的人体部位对深度图中的人像深度
信息进行校正，使得预设人体部位的深度信息更加准确，提高人像深度信息的精确度。
[0034]请参阅图1，图1为本申请实施例提供的场景示意图，其中包括原始深度图和校正后的深度图。原始深度图的分辨率较低，且其中诸如头部、手部的关键人体部位(如图中所框选的部位)的深度信息误差较大，不能很好地反映这些部位的轮廓以及这些部位到摄像头的距离。基于这些关键人体部位，使用本申请提供的人像深度图的处理方法对原始深度图中的深度信息进行校正，得到校正后的深度图。校正后的深度图的分辨率和精确度相对原始深度图都得到了提升，尤其提高了其中关键人体部位的深度信息的精确度。
[0035]本申请实施例提供的人像深度图的处理方法的执行主体可以是本申请实施例提供的人像深度图的处理装置，或者集成了该人像深度图的处理装置的电子设备，其中该图像人像深度图的处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是计算机设备，该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备，也可以是服务器。以下进行具体分析说明。
[0036]请参阅图2，图2为本申请实施例提供的人像深度图的处理方法的第一种流程示意图。该人像深度图的处理方法可以应用于具有人像的待处理图像，包括：
[0037]S110、获取待处理图像以及待处理图像的原始深度图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人像深度图的处理方法，应用于具有人像的待处理图像，其特征在于，包括：获取待处理图像以及所述待处理图像的原始深度图；根据所述待处理图像，确定所述待处理图像中的人体部位；根据所述人体部位对所述原始深度图中的深度信息进行校正，得到校正后的深度图。2.根据权利要求1所述的人像深度图的处理方法，其特征在于，所述根据所述人体部位对所述原始深度图中的深度信息进行校正，得到校正后的深度图包括：根据所述人体部位，从所述待处理图像中获取所述人体部位的局部图像以及从所述原始深度图中获取所述人体部位的局部深度图；根据所述局部图像对所述局部深度图中的深度信息进行校正，得到校正后的深度图。3.根据权利要求2所述的人像深度图的处理方法，其特征在于，所述根据所述局部图像对所述局部深度图中的深度信息进行校正包括：根据所述局部图像以及所述局部深度图，获取所述局部图像中每个像素点的校正信息；根据所述局部图像中所有像素点的校正信息对所述局部深度图中的深度信息进行校正。4.根据权利要求3所述的人像深度图的处理方法，其特征在于，所述像素点的校正信息包括所述像素点的校正深度值，所述根据所述局部图像以及所述局部深度图，获取所述局部图像中每个像素点的校正信息包括：根据所述局部图像以及所述局部深度图构建增强型双边空间；根据所述增强型双边空间确定所述局部图像中每个像素点的校正深度值；所述根据所述局部图像中所有像素点的校正信息对所述局部深度图中的深度信息进行校正包括：根据所述局部图像中所有像素点的校正深度值对所述局部深度图中的深度信息进行校正。5.根据权利要求4所述的人像深度图的处理方法，其特征在于，所述根据所述增强型双边空间确定所述局部图像中每个像素点的校正深度值包括：确定所述增强型双边空间的所有网格顶点；针对所述局部图像中的每一像素点，在所有网格顶点中确定所述像素点的邻域顶点；确定所述像素点的所有邻域顶点的校正深度值；根据所述像素点的所有邻域顶点的校正深度值，确定所述像素点的校正深度值。6.根据权利要求5所述的人像深度图的处理方法，其特征在于，所述确定所述像素点的所有邻域顶点的校正深度值包括：构建所述局部图像中各像素点的邻域双边约束关系，所述邻域双边约束关系中包含像素点的校正深度值与像素点的所有邻域顶点的校正深度值的关系；根据所有像素点的邻域双边约束关系确定所有网格顶点的校正深度值；从确定的所有网格顶点的校正深度值中，确定出所述像素点的所有邻域顶点的校正深度值。7.根据权利要求6所述的人像深度图的处理方法，其特征在于，所述根据所有像素点的邻域双边约束关系确定所有网格顶点的校正深度值包括：
根据所有像素点的邻域双边约束关系确定深度信息变更的代价因子与所有网格顶点的校正深度值的关系；确定每个网格顶点的校正深度值的初始解；根据每个网格顶点的校正深度值的初始解进行迭代计算，得到每个网格顶点的校正深度值的最优解；将每个网格顶点的校正深度值的最优解作为每个网格顶点的校正深度值。8.根据权利要求7所述的人像深度图的处理方法，其特征在于，所述确定每个网格顶点的校正深度值的初始解包括：对于每一个网格顶点，若所述网格顶点存在参考像素点，则确定所述网格顶点的参考像素点，所述网格顶点为所述参考像素点的最近邻网格顶点；基于确定的所有像素点的原始深度值，获取所述网格顶点的参考像素点的原始深度值；根据所述网格顶点的所有参考像素点的原始深度值确定所述网格顶点的校正深度值的初始解。9.根据权利要求8所述的人像深度图的处理方法，其特征在于，所述方法还包括：若所述网格顶点不存在最近邻像素点，则将预设深度值作为所述网格顶点的校正深度值的初始解。10.根据权利要求5所述的人像深度图的处理方法，其特征在于，所述确定所述增强型双边空间的所有网格顶点包括：确定所述增强型双边空间的划分尺度；根据所述划分尺度对所述增强型双边空间进行划分，得到所述增强型双边空间的所有网格顶点。11.根据权利要求4所述的人像深度图的处理方法，其特征在于，所述增强型双边空间包括三个色彩维度、两个位置维度以及一个深度维度，所述根据所述局部图像以及所述局部深度图构建增强型双边空间包括：根据所述局部图像提供的三个色彩维度、两个位置维度以及所述局部深度图提供的深度维度构建增强型双边空间。12.根据权利要求2至11任一项所述的人像深度图的处理方法，其特征在于，所述根据所述局部图像对所述局部深度图中的深度信息进行校正，得到校正后的深度图之后，还包括：将所述校正后的深度图与所述原始深度图进行融合，得到结果深度图。13.根据权利要求12所述的人像深度图的处理方法，其特征在于，所述将所述校正后的深度图与所述原始深度图进行融合，得到结果深度图包括：根据所述校正后的深度图中的深度信息，更新所述原始深度图中对应的深度信息，得到第一中间深度图；将所述第一中间深度图输入联合双边滤波器，得到第二中间深度图，所述联合双边滤波器以所述待处理图像为导向图；将所述第二中间深度图输入加权...

【专利技术属性】
技术研发人员：向超，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：