一种深度图像的黏连前景分割方法及装置制造方法及图纸

本申请公开了一种深度图像的黏连前景分割方法及装置，该方法包括：在获取到待分割的目标深度图像后，先将其分割为背景和目标跟踪对象所在的前景，并对目标深度图像进行连通区域分割，得到目标深度图像包含的各个连通区域blob，然后对各个blob进行分类，得到各个类型的blob，接着，根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch，最后再通过对每一patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到目标深度图像中所有完整的目标跟踪对象。从而实现了在仅有深度图像的情况下对黏连前景进行准确分割，降低了分割成本和运算量，并提高了分割的实时性，具有广泛的应用空间。

【技术实现步骤摘要】
一种深度图像的黏连前景分割方法及装置
本申请涉及计算机
，尤其涉及一种深度图像的黏连前景分割方法及装置。
技术介绍
随着便携、平价的深度摄像头的发展，深度图像在图像处理领域的研究和应用有着越来越重要的意义。应用深度图像信息，可以提升机器视觉领域中相关研究和应用的表现，比如，图像分割，物体追踪，图像识别，和图像重建等。当深度图像中移动的目标跟踪对象与其他物体发生接触或者其他跟踪对象之间发生接触时，即前景发生黏连时，将其进行准确的分割是对目标跟踪对象继续跟踪及姿态识别的前提。现有的深度图像的黏连前景分割方法主要是同时利用配准好的彩色图信息进行分割，比如使用神经网络在彩色图上对深度图像的黏连前景进行分割，虽然可以达到较高的分割准确率，但神经网络通常需要大量的人工标注数据，成本较高，并且运算量较大，无法做到实时分割；另外，由于需要配准的彩色图信息，这导致在仅有深度图像的情况下无法实现黏连前景的分割。
技术实现思路
本申请实施例的主要目的在于提供一种深度图像的黏连前景分割方法及装置，能够在仅有深度图像的情况下对黏连前景进行准确分割，降低了分割成本和运算量，并提高了分割的实时性，具有广泛的应用空间。第一方面，本申请实施例提供了一种深度图像的黏连前景分割方法，包括：获取待分割的目标深度图像；所述目标深度图像中包括背景和目标跟踪对象所在的前景；获取所述目标深度图像中的背景和目标跟踪对象所在的前景，并对所述目标深度图像进行连通区域分割，得到所述目标深度图像包含的各个连通区域blob；对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob；根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch；通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到所述目标深度图像中所有完整的目标跟踪对象。可选的，所述对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob，包括：S1：当判断出所述blob中的前景比例小于前景比例阈值时，确定所述blob的类型为仅包含背景的blob；S2：当判断出所述blob中前景比例不小于前景比例阈值时，若判断出存在一个目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第一比例阈值，则确定所述blob的类型为仅包含一个目标跟踪对象的blob；若判断出所述目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例小于第二比例阈值，则确定所述blob的类型为仅包含背景的blob；所述第二比例阈值远小于所述第一比例阈值；若判断出所述目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例小于所述第一比例阈值且不小于所述第二比例阈值，则确定所述blob的类型为包含一个目标跟踪对象与背景黏连的blob；S3：当判断出所述blob中前景比例不小于前景比例阈值时，若判断出存在至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数为0，则确定所述blob的类型为仅包含背景的blob；若判断出所述至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数为1，则重复执行步骤S2，确定所述blob的类型；若判断出所述至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数大于1，则将所述有效目标跟踪对象前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例相加，若相加后的比例值大于第四比例阈值，则确定所述blob的类型为包含至少两个目标跟踪对象之间黏连的blob；若相加后的比例值不大于第四比例阈值，则确定所述blob的类型为包含至少两个目标跟踪对象与背景黏连的blob。可选的，所述预设类型的blob包括以下三种黏连类型blob：包含一个目标跟踪对象与背景黏连的blob；包含至少两个目标跟踪对象之间黏连的blob；包含至少两个目标跟踪对象与背景黏连的blob。可选的，所述根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch，包括：将预设类型的blob中的每一深度像素点分别作为一个独立的patch，为每一个像素都分配一个patch数据结构对象；所述patch数据结构包括所述patch的编号、像素点个数、深度值；将所述blob内所有存在相邻关系的patch对分别作为一个边；所述边的结构包括两个端点的位置和权重；将所述blob内的所有边按照权重大小进行升序排列；根据所述blob内的每一边的权重与其两个端点的深度值的关系，将符合预设条件的边中两个端点所在的patch合并为一个patch。可选的，所述通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到完整的目标跟踪对象，包括：在对每一所述patch进行第一次遍历时，将归属置信度高的patch划分给所属目标跟踪对象；将归属置信度较低但面积较大的patch进行逐行分析，并根据每一行不同的段中出现的上一帧的目标跟踪对象的像素个数占当前线段长度的比例，将其划分给对应的目标跟踪对象；将归属置信度较低但面积较小的patch标记为待处理的patch；在对每一所述待处理的patch进行第二次遍历时，将所述待处理的patch划分给与其三维距离最近的目标跟踪对象。第二方面，本申请实施例还提供了一种深度图像的黏连前景分割装置，包括：获取单元，用于获取待分割的目标深度图像；所述目标深度图像中包括背景和目标跟踪对象所在的前景；分割单元，用于获取所述目标深度图像中的背景和目标跟踪对象所在的前景，并对所述目标深度图像进行连通区域分割，得到所述目标深度图像包含的各个连通区域blob；分类单元，用于对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob；划分单元，用于根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch；获得单元，用于通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到所述目标深度图像中所有完整的目标跟踪对象。可选的，所述分类单元包括：第一确定子单元，用于当判断出所述blob中的前景比例小于前景比例阈值时，确定所述blob的类型为仅包含背景的blob；第二确定子单元，用于当判断出所述blob中前景比例不小于前景比例阈值时，若判断出存在一个目标跟踪对象在前一帧中的区域在所本文档来自技高网...

【技术保护点】
1.一种深度图像的黏连前景分割方法，其特征在于，包括：/n获取待分割的目标深度图像；所述目标深度图像中包括背景和目标跟踪对象所在的前景；/n获取所述目标深度图像中的背景和目标跟踪对象所在的前景，并对所述目标深度图像进行连通区域分割，得到所述目标深度图像包含的各个连通区域blob；/n对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob；/n根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch；/n通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到所述目标深度图像中所有完整的目标跟踪对象。/n

【技术特征摘要】
1.一种深度图像的黏连前景分割方法，其特征在于，包括：
获取待分割的目标深度图像；所述目标深度图像中包括背景和目标跟踪对象所在的前景；
获取所述目标深度图像中的背景和目标跟踪对象所在的前景，并对所述目标深度图像进行连通区域分割，得到所述目标深度图像包含的各个连通区域blob；
对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob；
根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch；
通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到所述目标深度图像中所有完整的目标跟踪对象。


2.根据权利要求1所述的方法，其特征在于，所述对所述目标深度图像包含的各个blob进行分类，得到所述目标深度图像包含的各个类型的blob，包括：
S1：当判断出所述blob中的前景比例小于前景比例阈值时，确定所述blob的类型为仅包含背景的blob；
S2：当判断出所述blob中前景比例不小于前景比例阈值时，若判断出存在一个目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第一比例阈值，则确定所述blob的类型为仅包含一个目标跟踪对象的blob；若判断出所述目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例小于第二比例阈值，则确定所述blob的类型为仅包含背景的blob；所述第二比例阈值远小于所述第一比例阈值；若判断出所述目标跟踪对象在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例小于所述第一比例阈值且不小于所述第二比例阈值，则确定所述blob的类型为包含一个目标跟踪对象与背景黏连的blob；
S3：当判断出所述blob中前景比例不小于前景比例阈值时，若判断出存在至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数为0，则确定所述blob的类型为仅包含背景的blob；若判断出所述至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数为1，则重复执行步骤S2，确定所述blob的类型；若判断出所述至少两个目标跟踪对象中在前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例大于第三比例阈值且所述比例归一化后的比例值大于归一化比例阈值的有效目标跟踪对象个数大于1，则将所述有效目标跟踪对象前一帧中的区域在所述blob中出现的部分占所述blob总面积的比例相加，若相加后的比例值大于第四比例阈值，则确定所述blob的类型为包含至少两个目标跟踪对象之间黏连的blob；若相加后的比例值不大于第四比例阈值，则确定所述blob的类型为包含至少两个目标跟踪对象与背景黏连的blob。


3.根据权利要求1所述的方法，其特征在于，所述预设类型的blob包括以下三种黏连类型blob：
包含一个目标跟踪对象与背景黏连的blob；
包含至少两个目标跟踪对象之间黏连的blob；
包含至少两个目标跟踪对象与背景黏连的blob。


4.根据权利要求1或3所述的方法，其特征在于，所述根据预设划分规则，将预设类型的blob划分成不同的小连通区域patch，包括：
将预设类型的blob中的每一深度像素点分别作为一个独立的patch，为每一个像素都分配一个patch数据结构对象；所述patch数据结构包括所述patch的编号、像素点个数、深度值；
将所述blob内所有存在相邻关系的patch对分别作为一个边；所述边的结构包括两个端点的位置和权重；
将所述blob内的所有边按照权重大小进行升序排列；
根据所述blob内的每一边的权重与其两个端点的深度值的关系，将符合预设条件的边中两个端点所在的patch合并为一个patch。


5.根据权利要求1所述的方法，其特征在于，所述通过对每一所述patch进行遍历，逐一将归属于同一目标跟踪对象的所有patch进行聚合，得到完整的目标跟踪对象，包括：
在对每一所述patch进行第一次遍历时，将归属置信度高的patch划分给所属目标跟踪对象；将归属置信度较低但面积较大的patch进行逐行分析，并根据每一行不同的段中出现的上一帧的目标跟踪对象的像素个数占当前线段长度的比例，将其划分给对应的目标跟踪对象；将归属置信度较低但面积较小的patch标记为待处理的patch；
在对每一所述待处理的patch进行第二次遍历时，将所述待处理的patch划分给与其三维距离最近的目标跟踪对象。


6.一种深度图像的黏连前景分割装置，其特征在于，包括：
获取单元，用于获取待分割的目标深度图像；所述目标深度图像中包括背景和目标跟踪对象所在的前景；
分割单元，用于获取所述目标深度图像中的背景和目标跟踪对...

【专利技术属性】
技术研发人员：王磊，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11