深度图处理方法、装置及存储介质制造方法及图纸

本公开实施例中提供深度图处理方法、装置及存储介质，通过获取深度图及与深度图配准的彩色图，对彩色图进行目标检测，并基于检测到的目标的轮廓对彩色图进行区域划分，得到轮廓区域，从深度图中提取空洞区域，基于深度图与彩色图之间的配准关系，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域中与轮廓区域相交的子区域。其中，子区域即是空洞区域与轮廓区域的子区域，那么，子区域是子区域的子区域，根据子区域可以对子区域进行有效区分。因此，本实施例能够对空洞区域进行子区域的准确区分，在该前提下，就能准确确定子区域的深度值并做填充等相应处理。的深度值并做填充等相应处理。的深度值并做填充等相应处理。

【技术实现步骤摘要】
深度图处理方法、装置及存储介质


[0001]本公开涉及图像处理
，尤其涉及深度图处理方法、装置及存储介质。

技术介绍

[0002]在3D计算机图形和计算机视觉中，深度图是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息，用于模拟的3D形状或重建他们。
[0003]但是，在采集深度图时，会出现相机拍摄不到的区域，从而在深度图中出现位于边缘部位的空洞，如图1所示，白色手部区域10，右侧边缘产生空洞区域11。这个空洞区域11既包含手臂也包含天花板，但是它们的深度值差异很大。如果直接利用空洞周边的有效邻域点的深度值进行填充，对于空洞中的某些点会有比较大的误差。譬如手臂的深度值变为了天花板的深度值，反之亦有可能。因此，在没有对空洞区域进行有效区分的情况下，将无法填充准确的深度信息。
[0004]因此，如何对深度图空洞区域进行准确区分是业界普遍考虑的课题。

技术实现思路

[0005]鉴于以上相关技术的缺点，本公开的目的在于提供深度图处理方法、装置及存储介质，以解决相关技术无法对深度图空洞区域进行准确区分的技术问题。
[0006]本公开第一方面提供一种深度图处理方法，其包括：
[0007]获取深度图及与深度图配准的彩色图；
[0008]对彩色图进行目标检测，并基于检测到的目标的轮廓对彩色图进行区域划分，得到轮廓区域；
[0009]从深度图中提取空洞区域，基于深度图与彩色图之间的配准关系，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域中与轮廓区域相交的子区域。
[0010]在一些实施例中，对彩色图进行目标检测，并基于检测到的目标的轮廓对彩色图进行区域划分，得到轮廓区域，包括：
[0011]对彩色图进行图像语义分割，得到轮廓区域。
[0012]在一些实施例中，对彩色图进行图像语义分割，得到轮廓区域，包括：
[0013]使用Mask R
‑
CNN模型对彩色图进行图像语义分割，得到轮廓区域。
[0014]在一些实施例中，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域中与轮廓区域相交的子区域，包括：
[0015]在对彩色图得到多个轮廓区域的情况下，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域与至少两个轮廓区域相交的子区域。
[0016]在一些实施例中，深度图处理方法还包括：
[0017]基于子区域的有效邻域点的深度信息对子区域进行深度像素填充。
[0018]本公开第二方面还提供一种深度图处理装置，其包括：
[0019]获取模块，获取深度图及与深度图配准的彩色图；
[0020]图像划分模块，对彩色图进行目标检测，并基于检测到的目标的轮廓对彩色图进行区域划分，得到轮廓区域；
[0021]求交集模块，从深度图中提取空洞区域，基于深度图与彩色图之间的配准关系，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域中与轮廓区域相交的子区域。
[0022]在一些实施例中，图像划分模块具体用于：
[0023]对彩色图进行图像语义分割，得到轮廓区域。
[0024]在一些实施例中，深度图处理装置还包括：
[0025]填充模块，基于子区域的有效邻域点的深度信息对子区域进行深度像素填充。
[0026]本公开第五方面提供一种计算机装置，包括：通信器、存储器及处理器；通信器用于与外部通信；存储器存储有程序指令；处理器用于运行程序指令以执行如第一方面任一项的深度图处理方法。
[0027]本公开第四方面提供一种计算机可读存储介质，存储有程序指令，程序指令被运行以执行如第一方面任一项的深度图处理方法。
[0028]如上，本公开实施例中提供深度图处理方法、装置及存储介质，通过获取深度图及与深度图配准的彩色图，对彩色图进行目标检测，并基于检测到的目标的轮廓对彩色图进行区域划分，得到轮廓区域，从深度图中提取空洞区域，基于深度图与彩色图之间的配准关系，将深度图与进行区域划分的彩色图进行求交集，得到空洞区域中与轮廓区域相交的子区域。其中，子区域即是空洞区域与轮廓区域的子区域，那么，子区域是子区域的子区域，根据子区域可以对子区域进行有效区分。因此，本实施例能够对空洞区域进行子区域的准确区分，在该前提下，就能准确确定子区域的深度值并做填充等相应处理。
附图说明
[0029]图1展示相关技术的一种深度图。
[0030]图2展示本公开实施例的深度图处理方法的流程图之一。
[0031]图3展示本公开一种实施例的彩色图进行目标检测得到的区域分割示意图。
[0032]图4展示本公开实施例的深度图处理方法的原理示意图。
[0033]图5展示本公开实施例的深度图处理方法的流程图之二。
[0034]图6展示本公开实施例的深度图处理装置的模块示意图之一。
[0035]图7展示本公开实施例的深度图处理装置的模块示意图之二。
[0036]图8展示本公开一实施例中计算机装置的结构示意图。
具体实施方式
[0037]以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本公开所揭露的消息轻易地了解本公开的其他优点与功效。本公开还可以通过另外不同的具体实施方式加以实施或应用系统，本公开中的各项细节也可以根据不同观点与应用系统，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0038]下面以附图为参考，针对本公开的实施例进行详细说明，以便本公开所属
的技术人员能够容易地实施。本公开可以以多种不同形态体现，并不限定于此处说明的
实施例。
[0039]在本公开的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本公开中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0040]此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0041]为了明确说明本公开，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
[0042]在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图处理方法，其特征在于，包括：获取深度图及与所述深度图配准的彩色图；对所述彩色图进行目标检测，并基于检测到的目标的轮廓对所述彩色图进行区域划分，得到轮廓区域；从所述深度图中提取空洞区域，基于所述深度图与所述彩色图之间的配准关系，将所述深度图与进行区域划分的彩色图进行求交集，得到所述空洞区域中与轮廓区域相交的子区域。2.根据权利要求1所述的深度图处理方法，其特征在于，所述对所述彩色图进行目标检测，并基于检测到的目标的轮廓对所述彩色图进行区域划分，得到轮廓区域，包括：对所述彩色图进行图像语义分割，得到轮廓区域。3.根据权利要求2所述的深度图处理方法，其特征在于，所述对所述彩色图进行图像语义分割，得到轮廓区域，包括：使用Mask R
‑
CNN模型对所述彩色图进行图像语义分割，得到轮廓区域。4.根据权利要求1所述的深度图处理方法，其特征在于，所述将所述深度图与进行区域划分的彩色图进行求交集，得到所述空洞区域中与轮廓区域相交的子区域，包括：在对所述彩色图得到多个轮廓区域的情况下，将所述深度图与进行区域划分的彩色图进行求交集，得到所述空洞区域与至少两个轮廓区域相交的子区域。5.根据权利要求1所述的深度图处理方法，其特征...

【专利技术属性】
技术研发人员：赵明喜，钱哲弘，
申请(专利权)人：银牛微电子无锡有限责任公司，
类型：发明
国别省市：