基于强度图像和深度图像的目标分析方法及设备技术

本发明专利技术提供一种基于强度图像和深度图像的目标分析方法及设备。所述设备包括：主体部件检测单元，从目标的强度图像中检测目标的主体部件；前景分割单元，基于检测到的主体部件中的强度值计算强度阈值，使用该强度阈值将强度图像转换为二值图，并使用所述二值图对目标的深度图像进行掩模，以获得掩模深度图像；活动部件检测单元，从掩模深度图像中检测目标的活动部件。

【技术实现步骤摘要】

本专利技术涉及一种视频目标分析方法和设备。更具体地讲，本专利技术涉及一种基于强 度图像和深度图像的目标分析方法及设备，通过该方法和设备，可从视频流中精确地检测 出感兴趣的视频目标的各个部件，以获得目标的动作信息。
技术介绍
随着3D动画、游戏、人机交互界面等的广泛应用，目前在计算机视觉和模式识别 领域，正对视频目标分析技术进行广泛研究。为了进行动画模拟，首先需要从视频中检测目 标的各个部件，以便获得目标的动作信息为了检测目标的部件，通常使用自下而上的方法(bottom-up method)和自上而下 的方法(up-bottom method)。在前一种方法中，首先利用目标部件的特征来检测目标部件， 如利用皮肤颜色的检测、针对四肢的条形检测等，然后根据其验证模型对检测出的候选部 件进行整合。这种方法非常依赖于对目标部件的典型特征的开发以及对背景噪声的抑制。 在后一种方法中，对目标的姿态空间进行反覆搜索，提出假设并对每个假设进行评价。这种 方法要求搜索空间必须很小，以便提高计算速度。在视频目标分析过程中，通常需要从原始图像中分割出前景，即去除混乱的背景 区域，以便于精确地检测目标。传统的前景分割方法主要针对来源于CCD相机的颜色图像。 颜色图像的背景一般非常混乱，因此基于颜色图像的前景分割计算量非常大并且不精确。 尽管目前还提出了基于深度图像的前景分割方法，但是该方法也不精确。一旦前景分割不精确，就会使得后续的目标分析变得非常困难，并且目标分析结 果会受到具有相似特征的背景噪声的干扰。另外，混乱背景中往往会呈现出丰富的边缘特 征，这些边缘特征成为噪声，影响目标部件检测或假设评价中的边缘特征分析结果。因此，需要一种能够更精确地分割前景从而提高目标分析性能的目标分析方法和 设备。
技术实现思路
本专利技术的一个目的在于提供一种能够更精确地分割前景从而提高目标分析性能 的目标分析方法和设备。本专利技术的另一个目的在于提供一种能够实现准确的骨架线验证的目标分析方法 和设备。为了实现上述目的，本专利技术的设备和方法不再局限于使用颜色图像，而是采用来 自例如T0F相机的强度图像和深度图像。为实现本专利技术的目的，提供一种基于目标的深度图像和强度图像的目标分析设 备，该设备包括主体部件检测单元，从目标的强度图像中检测目标的主体部件；前景分割 单元，基于检测到的主体部件中的强度值计算强度阈值，使用该强度阈值将强度图像转换 为二值图，并使用所述二值图对目标的深度图像进行掩模，以获得掩模深度图像；活动部件检测单元，从掩模深度图像中检测目标的活动部件。依据本专利技术，主体部件检测单元经统计学习方法训练，以从强度图像中检测目标 的主体部件。此外，前景分割单元对检测到的主体部件中的强度值进行统计平均，并将所得 值作为强度阈值。依据本专利技术，活动部件检测单元包括骨架线检测单元，从掩模深度图像中检测多 条骨架线；骨架线验证单元，对所述多条骨架线进行验证，以选出最佳骨架线。骨架线验 证单元通过将主体部件检测单元检测到的主体部件作为常数，来对所述多条骨架线进行验 证。此外，骨架线验证单元基于主体部件检测单元检测到的主体部件来确定目标的肩膀点， 将确定的肩膀点与所述多条骨架线之一的一端连接以形成虚拟骨架线，并且对所述多条骨 架线以及虚拟骨架线进行验证。另外，所述目标的主体部件可以是人的头部和躯干，活动部件可以是人的四肢。为了实现上述目的，提供一种基于目标的深度图像和强度图像的目标分析方法， 该方法包括以下步骤a)从目标的强度图像中检测目标的主体部件；b)基于检测到的目标 的主体部件中的强度值计算强度阈值；c)使用所述强度阈值将强度图像转换为二值图；d) 使用所述二值图对深度图像进行掩模，获得掩模深度图像；e)从掩模深度图像中检测目标 的活动部件。因此，与传统技术中基于颜色图像的前景分割不同，在本专利技术中，首先用简单快速 的方法基于强度图像检测目标的相对简单的主体部件以形成掩模。然后，基于该掩模从深 度图像中分割出前景，并进一步检测目标的活动部件的骨架线。使用统计学习方法训练得 到的部件检测器可用于进行目标的主体部件检测，因而可以大致估计目标位置和比例。这 可以显著减小参数搜索空间。另外，在骨架线验证中，使用了虚拟部件，从而可以更准确地 验证骨架线。附图说明图1是示出依据本专利技术的目标分析设备的结构的框图；图2示出强度图像和深度图像的示例；图3示出目标的主体部件的示例；图4的(a)-(d)分别示出强度图像、二值图、深度图像和掩模深度图像的示例；图5示出活动部件检测单元的结构的示例；图6示出骨架线检测单元的结构的示例；图7示出骨架线检测单元的检测过程的示例；图8的(a)和(b)分别示出目标的搜索树和骨架线验证结果的示例；图9示出依据本专利技术的目标分析方法的流程图。具体实施例方式以下，将参照附图详细描述依据本专利技术的目标分析设备和方法。本专利技术的目标分 析设备和方法可用于从视频流中对感兴趣的视频目标进行分析，以获得关于视频目标的各 个部件的信息。通常，对于一个待分析视频目标，可以将其大致分为两部分一部分是形状、比例5等相对固定的主体部件，例如人的头部和躯干、特定装置的底座等；另一部分是可以活动且 形状相对不固定的活动部件，例如人的四肢、特定装置的活动臂等。在本专利技术中，对于较简 单的主体部件，可利用经样本统计学习方法训练的分类器/检测器进行检测，而对于较复 杂的活动部件，可经前景分割去除背景噪声之后进行检测。需要指出的是，为了描述方便，以下将以人体目标为例解释本专利技术的目标分析设 备和方法。然而，本专利技术不限于处理人体目标。参照图1，图1是示出本专利技术的目标分析设备100的结构的框图。本专利技术的目标分 析设备100包括主体部件检测单元101、前景分割单元102和活动部件检测单元103。该 目标分析设备100从外部接收目标的强度图像和深度图像作为系统输入。或者，本专利技术的 目标分析设备100还可包括用于捕捉目标的强度图像和深度图像的装置，例如T0F(Time Of Flight)相机。强度图像反映目标表面材料的反射能力，其各个像素值表示目标表面材料的 反射强度值。深度图像反映相机和目标表面之间的距离，其各个像素值指示相机到目标表 面的深度值。图2的(a)和(b)中分别示出了强度图像和深度图像的示例。主体部件检测单元101用于从目标的强度图像检测目标的主体部件(对于人体目 标而言，即人的头部和躯干)如图3所示。传统的检测目标主体部件的方法使用颜色图像， 例如基于背景差的检测方法、颜色聚类方法等。然而，本专利技术使用强度图像作为检测目标主 体部件的基础。强度图像可以通过例如T0F相机获得。主体部件检测单元101可以是利用基于样本的统计学习方法进行了训练的部 件分类器/检测器。例如，主体部件检测单元101可以使用第US2006147108A1号和第 US2009097711A1号美国专利申请中所公开的统计学习方法。由于输入的是强度图像，所以 与背景较混乱的颜色图像相比，检测速度可以加快，大约可节省一半的时间成本。当然，本 专利技术不限于此，主体部件检测单元101还可使用其它目标部件检测方法来从强度图像中检 测目标的主体部件。主体部件检测单元101扫描输入的强度图像以确定目标主体部件的位置、大小、 比例本文档来自技高网...

【技术保护点】
一种基于目标的深度图像和强度图像的目标分析设备，该设备包括：主体部件检测单元，从目标的强度图像中检测目标的主体部件；前景分割单元，基于检测到的主体部件中的强度值计算强度阈值，使用该强度阈值将强度图像转换为二值图，并使用所述二值图对目标的深度图像进行掩模，以获得掩模深度图像；活动部件检测单元，从掩模深度图像中检测目标的活动部件。

【技术特征摘要】
1.一种基于目标的深度图像和强度图像的目标分析设备，该设备包括主体部件检测单元，从目标的强度图像中检测目标的主体部件；前景分割单元，基于检测到的主体部件中的强度值计算强度阈值，使用该强度阈值将 强度图像转换为二值图，并使用所述二值图对目标的深度图像进行掩模，以获得掩模深度 图像；活动部件检测单元，从掩模深度图像中检测目标的活动部件。2.如权利要求1所述的设备，其特征在于，所述设备还包括TOF相机，用于捕捉目标的 深度图像和强度图像。3.如权利要求1所述的设备，其特征在于，主体部件检测单元经统计学习方法训练，以 从强度图像中检测目标的主体部件。4.如权利要求1所述的设备，其特征在于，前景分割单元对检测到的主体部件中的强 度值进行统计平均，并将所得值作为强度阈值。5.如权利要求1所述的设备，其特征在于，活动部件检测单元包括骨架线检测单元，从掩模深度图像中检测多条骨架线；骨架线验证单元，对所述多条骨架线进行验证，以选出最佳骨架线。6.如权利要求5所述的设备，其特征在于，骨架线验证单元通过将主体部件检测单元 检测到的主体部件作为常数，对所述多条骨架线进行验证。7.如权利要求5所述的设备，其特征在于，骨架线验证单元基于主体部件检测单元检 测到的主体部件来确定目标的活动部件与主体部件的连接点，将确定的连接点与所述多条 骨架线之一的一端连接以形成虚拟骨架线，并且对所述多条骨架线以及虚拟骨架线进行验 证。8.如权利要求1所述的设备，其特征在于，目标的主体部件包括人的头部和躯干，目标 的活动部件包括人的四肢。...

【专利技术属性】
技术研发人员：陈茂林，楚汝峰，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：KR[韩国]