对象识别设备、分类树学习设备、对象识别设备的操作方法和分类树学习设备的操作方法技术

本发明专利技术提供了一种对象识别设备、分类树学习设备、该对象识别设备的操作方法和该分类树学习设备的操作方法。该对象识别设备可包括：输入单元，接收作为输入的表示将被分析的对象的深度图像；以及处理单元，通过使用分类树从深度图像识别该对象的可见对象部分和隐藏对象部分。

【技术实现步骤摘要】
【国外来华专利技术】对象学习和识别方法以及系统
以下描述的示例实施例涉及一种对象学习和/或识别方法和系统，更具体地讲，涉及一种可基于学习的分类树和单个深度图像识别对象的对象学习和/或识别方法和系统。
技术介绍
感测身体移动并控制用户界面(UI)的技术有可能主动地用于控制交互式视频，并且还有可能用作当前的基于图形的游戏的输入单元。
技术实现思路
前述和/或其他方面通过提供一种对象识别系统来实现，该对象识别系统包括：输入单元，被构造为接收作为输入的表示将被分析的对象的深度图像；以及处理单元，被构造为通过使用分类树识别所述对象的可见对象部分和隐藏对象部分。前述和/或其他方面通过提供一种分类树学习设备来实现，该分类树学习设备产生被构造用于识别将被分析的对象的可见对象部分和隐藏对象部分的分类树。该分类树学习设备可包括被构造为基于与对象相关联的训练数据产生分类树的学习单元。前述和/或其他方面通过提供一种对象识别方法来实现，该对象识别方法包括：接收作为输入的表示将被分析的对象的深度图像；通过使用分类树从深度图像识别所述对象的可见对象部分和隐藏对象部分。前述和/或其他方面通过提供一种用于产生分类树的分类树学习方法来实现，分类树被构造为被对象识别系统用于从深度图像识别将被分析的对象的可见对象部分和隐藏对象部分。该方法可包括基于与该对象相关联的训练数据产生分类树。附图说明应当结合附图考虑以下对一个或多个示例实施例的描述，其中：图1示出根据示例实施例的由对象识别系统执行的对象识别方法；图2至图6示出根据示例实施例的可见对象部分和隐藏对象部分的示图；图7a示出根据示例实施例的在此被表示为用示例分类学习设备实现的分类树学习方法；图7b示出根据示例实施例的分类树学习设备的学习单元的构造的框图；图7c示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用光线投射方案产生训练数据的分类树学习方法；图7d和图8示出根据示例实施例的在此被表示为用示例分类学习设备实现的、用于通过使用训练数据学习分类树的分类树学习方法；图9示出在此被表示为用图7b的示例学习单元实现的、用于学习分类树的学习方法；图10a示出根据示例实施例的对象识别设备的构造的框图；图10b示出在此被表示为用图10a的示例识别设备实现的、用于通过使用多个学习的分类树对输入图像进行识别的对象识别方法；图11示出在此被表示为用图10a的示例对象识别设备实现的对象识别方法；图12示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用多个学习的分类树识别对象的对象识别方法；图13示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于通过使用存储在学习的分类树中的信息识别将被分析的对象的对象识别方法；图14a示出根据示例实施例的在此被表示为用示例对象识别设备实现的、用于基于输入对象的大小与学习期间所使用的三维(3D)对象模型之间的差异增强对象识别性能的对象识别方法；和图14b示出根据示例实施例的在此被表示为用示例对象识别系统实现的确定叶节点的对象识别方法。具体实施方式现在将详细论述示例实施例，这些示例实施例的示例在附图中示出，其中，相似的标号始终指示相似的元件。以下描述示例实施例，以便参照附图解释示例实施例。图1示出根据示例实施例的由对象识别系统执行的识别方法的方面。参照图1，对象识别系统可通过使用将被分析的对象的单个深度图像111识别该对象的可见部分和该对象的隐藏部分这两个部分，并且可基于通过分析该对象而获得的结果来构造该对象的体积。具体地讲，对象识别系统可通过使用对象的单个深度图像、而不是通过使用多个深度图像来识别对象的多个组成部分。例如，当对象是人类时，人类的身体部分可表示例如手、手臂、腿、躯干等这样的组成部分，可表示对象的多个组成部分。各种对象(例如人类、动物、静物等)可被分析。对象识别系统可包括分类树学习设备和对象识别设备，以下更详细地讨论这两个设备。因此，图1的识别方法还可表示分类树学习处理和对象识别处理这两个处理。分类树学习设备可学习分类树121和122，对象识别设备可使用所学习的分类树121和122。在操作120中，对象识别设备可通过使用由分类树学习设备产生并学习的分类树121和122从单个深度图像111识别对象的可见对象部分和隐藏对象部分。在这种情况下，根据示例实施例，对象识别系统可产生并学习分类树121和122，并且可识别对象的可见对象部分和隐藏对象部分。根据需要，可如图1所示那样使用多个分类树，或者可仅使用单个分类树。可见对象部分可以是指图像的表示对象被直接观看的一部分，隐藏对象部分可以是指图像的基于图像的角度、捕捉方向、对象的内部深度等被间接观看的一部分。根据示例实施例，对象识别设备可在操作130中通过使用所学习的分类树121和122检索对象的可见层和对象的一个或多个隐藏层。在操作131中，对象识别设备可从可见对象部分和隐藏对象部分的识别结果对深度图像的直接可见部分(是深度图像的可见部分)的标识符(ID)和深度图像的非直接可见部分(是深度图像的隐藏部分)的ID进行分类。这在图1中用所示的分类的或识别的单个可见层、第1不可见(或隐藏)层和第2不可见(或隐藏)层表示。在操作132中，对象识别设备可检索隐藏部分中的每个隐藏部分的深度值。这在图1中用所示的检索的单个可见层、第1不可见(或隐藏)层和第2不可见(或隐藏)层表示。在操作140中，对象识别设备可重构对象的体积，或者可基于检索的信息估计对象的姿态。对象识别系统可应用于所有类型的要求识别对象的装置。例如，对象识别系统可用在智能TV(包括大型显示器(LFD))、智能电话、移动装置(包括照相机、平板、笔记本计算机、一体式个人计算机(PC))、PC(包括台式机)等中。另外，对象识别系统可具有不同应用。例如，对象识别系统可应用于例如运动游戏(exergame)、虚拟运动、虚拟娱乐、图形动画、视频对象探索、工效学、人机交互、监督、用于消费类电子装置的自然用户界面(UI)等
例如，对象识别系统可用作用于控制音乐视频市场、音乐广播市场、健康视频市场等中的交互式视频的技术。图2至图6示出根据示例实施例的可见对象部分和隐藏对象部分的示图。可见对象部分可表示用眼睛从通过捕捉对象而获取的图像(例如，彩色图像或深度图像)直接可见的部分，隐藏对象部分可表示该对象的被其他部分覆盖和隐藏的后部部分或内部部分。例如，当对象被图像传感器捕捉时，该对象的承载图像传感器201的传感器平面上的图像的一部分可被定义为可见对象部分数据，该对象的发生该对象的自遮挡或由另一个对象引起的遮挡的一部分可被定义为隐藏对象部分数据。如图5所示，例如，隐藏对象部分数据还可表示在可见外层与后部外层之间的深度处的对象的部分，诸如肌肉平面(level)、血管平面或骨骼平面。参照图2，当对象是正六面体时，该正六面体的前视图202的三个面可被定义为被显示为被图像传感器201观测到的三个可见对象部分，该正六面体的后视图203的三个面可被定义为被显示为未被图像传感器201观测到的三个隐藏对象部分。参照图3，当对象是人类时，并且当通过捕捉人类的左侧获取图像时，人体的一部分(诸如人体的左臂、左腿等)可被定义为可见对象部分301，被左臂和左腿隐藏的右臂、本文档来自技高网...

【技术保护点】
一种对象识别设备，包括：输入单元，接收作为输入的表示将被分析的对象的深度图像；和处理单元，通过使用分类树从深度图像识别所述对象的可见对象部分和隐藏对象部分。

【技术特征摘要】
【国外来华专利技术】2012.01.11 KR 10-2012-0003585;2012.01.19 KR 10-2011.一种对象识别设备，包括：输入单元，接收作为输入的表示将被分析的对象的深度图像；和处理单元，通过使用分类树从深度图像识别所述对象的可见对象部分和隐藏对象部分，其中，分类树包括指示可见对象部分的深度值与隐藏对象部分的深度值之间的差值的相对深度值，其中，通过使用隐藏对象部分的至少一部分作为多个层来表示分类树。2.根据权利要求1所述的对象识别设备，还包括：分类树获得单元，被配置为获得基于针对分类树的多个节点中的每个节点的建模的可见对象部分和隐藏对象部分的考虑学习的分类树。3.根据权利要求2所述的对象识别设备，其中，分类树获得单元通过基于针对多个节点中的每个节点的可见对象部分和隐藏对象部分的考虑进行学习来产生分类树，并获得产生的分类树，以使得处理单元用来识别可见对象部分和隐藏对象部分。4.根据权利要求3所述的对象识别设备，还包括：投射单元，被配置为使用虚拟照相机使光线朝着所述对象的三维(3D)对象模型的多个体素投射；图像层产生单元，被配置为每当光线穿透3D对象模型的表面时，顺序地产生多个图像层；捕捉单元，被配置为对于所述多个图像层中的每个，捕捉所述表面的深度值和体素标识符(ID)，并将捕捉的深度值和捕捉的体素ID存储在所述多个图像层中的每个中；和训练数据产生单元，被配置为将离虚拟照相机距离最小的图像层设置为与可见对象部分相关联的可见对象部分数据，并将其他图像层设置为与隐藏对象部分相关联的隐藏对象部分数据，并产生训练数据。5.根据权利要求1所述的对象识别设备，其中，处理单元基于单个深度图像识别对象的可见对象部分和隐藏对象部分。6.根据权利要求1所述的对象识别设备，还包括：体积构造单元，通过使用识别的可见对象部分和识别的隐藏对象部分在单个数据空间中构造所述对象的体积。7.根据权利要求6所述的对象识别设备，其中，处理单元基于所述体积提取关于所述对象的附加信息。8.根据权利要求7所述的对象识别设备，其中，附加信息包括关于与所述对象相关联的形状、姿态、关键关节和结构中的至少一个的信息。9.根据权利要求6所述的对象识别设备，其中，体积构造单元通过使用存储在分类树的叶节点中的相对深度值构造体积。10.根据权利要求1所述的对象识别设备，其中，处理单元将深度图像输入到分类树，其中，当分类树的当前节点是划分节点时，处理单元从划分节点读取特征的值和阈值，将所述特征的值和阈值输入到划分函数，计算结果值，并基于计算的结果值搜索当前节点的左子节点和右子节点之一，并且其中，当当前节点是叶节点时，处理单元从叶节点读取可见对象部分的第一直方图和隐藏对象部分的第二直方图，基于读取的第一直方图从深度图像识别可见对象部分，并基于读取的第二直方图从深度图像识别隐藏对象部分。11.根据权利要求10所述的对象识别设备，其中，当结果值小于阈值时，处理单元搜索左子节点，并且其中，当结果值等于或大于阈值时，处理单元搜索右子节点。12.根据权利要求11所述的对象识别设备，其中，随着处理单元从叶节点读取多个隐藏对象直方图并基于读取的多个隐藏对象直方图从深度图像识别至少一个隐藏对象部分，使用隐藏对象部分的至少一部分作为多个层表示分类树。13.根据权利要求12所述的对象识别设备，其中，多个隐藏对象直方图包括以下项中的至少一个：表示人体的肌肉的隐藏对象直方图、表示人体的骨骼结构的隐藏对象直方图、表示人体的内部器官的隐藏对象直方图、表示人体的心血管系统的隐藏对象直方图和表示人体的神经系统的隐藏对象直方图。14.根据权利要求1所述的对象识别设备，还包括：大小调整单元，调整所述对象的对象模型的宽度和高度中的至少一个大小。15.根据权利要求1所述的对象识别设备，其中，分类树包括可见对象部分的概率值和隐藏对象部分的概率值。16.一种用于产生分类树的分类树学习设备，分类树被对象识别设备用于识别将被分析的对象的可见对象部分和隐藏对象部分，分类树学习设备包括：学习单元，用于通过使用与所述对象相关联的训练数据产生分类树，其中，分类树包括指示可见对象部分的深度值与隐藏对象部分的深度值之间的差值的相对深度值，其中，通过使用隐藏对象部分的至少一部分作为多个层来表示分类树。17.根据权利要求16所述的分类树学习设备，其中，学习单元包括：投射单元，用于通过使用虚拟照相机使光线朝着所述对象的三维(3D)对象模型的多个体素投射；图像层产生单元，用于每当光线穿透3D对象模型的表面...

【专利技术属性】
技术研发人员：俞炳仁，崔昌圭，李昶敎，韩在濬，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR