追踪对象的头部制造技术

根据一个方面，提供了一种用于在一系列图像中追踪对象的头部的方法。所述方法包括：接收对象的头部的至少一部分的一系列图像；基于所述对象的头部的第一多个主要特征的位置来在所述一系列图像中追踪所述对象的头部的位置；基于所述第一多个主要特征的所述位置来确定所述对象的头部的所述位置的第一置信水平；监测次要特征的位置；以及当确定所述第一置信水平低于定义的阈值时，基于所述次要特征的所述位置、而不是所述主要特征的所述位置来追踪所述对象的头部的所述位置。根据其他方面，提供了一种处理单元、一种设备和一种机器可读介质。

Head of Tracking Object

【技术实现步骤摘要】
【国外来华专利技术】追踪对象的头部
本专利技术涉及追踪对象的头部，并且更具体地涉及基于对象的头部的主要特征的位置和/或次要特征的位置来追踪人的头部。
技术介绍
当进行个人护理活动(诸如化妆、进行皮肤护理活动、剃刮或者修剪毛发)时，用户可以使用具有摄像头的智能镜子或者具有摄像头的成像装置(诸如平板计算机或者智能电话)以提供有关该活动的指导和/或反馈。例如，当将用户的面部毛发剃刮或者修剪成特定样式时，可以使用在平板计算机上运行的应用用于向用户提供指导。在这种示例中，平板计算机可以实时追踪用户的脸部，使得其能够向用户提供实时指导。
技术实现思路
如果头部相对于被用于进行追踪的装置的摄像头强烈地移动，如果头部的部分移动到摄像头的视场之外，或者如果阻碍摄像头观察到头部的部分，则追踪对象的头部(诸如进行个人护理活动的人的头部)会很困难。如果无法获得准确的追踪数据，则依赖这种追踪数据的追踪装置会不能向用户提供可靠的指导。因此，如果头部相对于追踪装置的位置是次优的，则需要一种用于追踪对象的头部的更可靠的方法。根据第一方面，提供了一种用于在一系列图像中追踪对象的头部的方法。该方法包括：接收对象的头部的至少一部分的一系列图像；基于对象的头部的第一多个主要特征的位置来在该一系列图像中追踪对象的头部的位置；基于第一多个主要特征的位置来确定对象的头部的位置的第一置信水平；监测次要特征的位置；以及当确定第一置信水平低于定义的阈值时，基于次要特征的位置、而不是主要特征的位置来追踪对象的头部的位置。按照这种方式，在被用于进行追踪的主要特征不可用(例如不可见)的情况下，执行该方法的跟踪设备可以继续追踪对象的头部。对象的头部的位置可以由头部的多个特征(例如面部特征)(即，头部的主要特征)的位置限定。如果已知头部的足够的主要特征的位置，则头部的任何特征的位置都可以是可确定的。类似地，如果可以确定图像的足够数目的特征(即，次要特征)，则头部的位置可以是可确定的。基于主要特征来追踪头部被认为通常比基于次要特征来追踪头部更可靠。可以通过使用已建立的可靠技术来执行主要特征追踪，并且主要特征可以是头部的相对于彼此始终出现在相同位置的可容易标识的一般特征。次要特征可以是在要被追踪的头部的图像中被标识到，但是可能不存在于所有人的头部的图像中的人员特有的特征。可以相对于第一多个主要特征中的一个或者多个主要特征来监测次要特征的位置。对于该一系列图像中的特定图像，如果少于限定数目的主要特征在特定图像中可见，则在一些实施例中，第一置信水平可以被确定为低于定义的阈值。例如，如果对象阻碍追踪设备观察到一些主要特征，或者如果一些主要特征在追踪设备的视场之外，则会发生这种情况。在一些实施例中，该方法还可以包括：在所述的基于次要特征的位置来追踪对象的头部的位置期间，监测对象的头部的第二多个主要特征的位置。该方法可以包括：基于第二多个主要特征的位置来确定对象的头部的位置的第二置信水平。当确定第二置信水平高于定义的阈值时，该方法可以基于第二多个主要特征的位置、而不是次要特征的位置来追踪对象的头部的位置。因此，如果追踪设备正基于次要特征追踪头部，但是确定能够基于主要特征来追踪头部，则设备可以切换回更可靠的主要特征追踪。该方法还可以包括：在所述的基于主要特征的位置来追踪对象的头部的位置期间，标识候选次要特征作为待被用于追踪对象的头部的潜在次要特征。按照这种方式，追踪设备可以在其基于主要特征来确信地追踪头部时来“学习”待被用于进行追踪的新的次要特征。根据一些实施例，该方法还可以包括：基于第一多个主要特征中的一个或者多个主要特征的位置来确定候选次要特征的位置的置信水平。当确定候选次要特征的位置的置信水平低于定义的阈值时，该方法可以丢弃作为待被用于追踪对象的头部的潜在次要特征的候选次要特征。通过丢弃基于主要特征的位置知道其位置不具有高置信水平的候选次要特征，追踪设备可以避免不准确地追踪头部，如果要使用次要特征的不准确的位置，则可能发生这种追踪。可以至少部分地通过候选次要特征在对象的头部的三维模型上的预测位置(基于主要特征的已知位置)与如在对象的头部的二维捕获图像中所确定的位置之间的一致水平，来确定候选次要特征的位置的置信水平。该方法还可以包括：使对象的头部的三维模型适合于表示主要特征的位置的坐标；基于从多个图像中的第一图像和第二、后一图像获得的主要特征的位置来更新三维模型的位置；以及基于主要特征在模型中的位置来对候选次要特征在三维模型中的位置进行预测。在一些实施例中，该方法可以包括：将候选次要特征在三维模型中的预测位置与候选次要特征的由对第一和第二图像进行图像特征追踪分析而确定的位置相比较；以及如果预测位置在由图像特征追踪分析而确定的位置的限定距离内，则提高候选次要特征的位置的置信水平。在一些实施例中，图像特征追踪分析可以包括光流分析。在其他实施例中，可以将候选次要特征在三维模型中的预测位置与候选次要特征的通过不同于光流分析的图像特征追踪或者学习方法而确定的位置相比较。该方法还可以包括：在该一系列图像中的多个图像上监测候选次要特征相对于第一多个主要特征中的一个或者多个主要特征的位置。当确定(i)候选次要特征相对于一个或者多个主要特征的位置在该多个图像上是一致的、并且(ii)第一置信水平高于定义的阈值时，该方法包括从该一系列图像中的第一图像提取标识与包括候选次要特征的图像补丁有关的至少一个特点的数据；以及存储所述数据。按照这种方式，该方法可以“学习”适合于追踪头部的次要特征。只有主要特征的位置是确信的并且次要特征的位置在若干图像上是一致的时，才会使用次要特征。可以说主要特征监督对次要特征的学习。该方法还可以包括：基于至少一个特点来在该一系列图像中的第二、后一图像中标识图像补丁。每个主要特征可以包括以下中的一个：眼睛的一部分、鼻子的一部分、嘴的一部分、眉毛的一部分和下巴的一部分。这些主要特征可以被称为一般脸部特征，因为大多数人的头部都包括这种可容易标识的特征。在一些实施例中，次要特征可以包括接收到的一系列图像中的图像的一部分。这种部分可以被称为图像补丁。基于次要特征的位置来追踪对象的头部的位置可以包括：应用模板匹配技术和图像特征匹配技术中的至少一种技术。根据第二方面，提供了一种被配置为执行上面所描述的方法的处理单元。根据第三方面，提供了一种用于追踪对象的头部的设备。该系统包括：成像单元，用于接收表示对象的头部的至少一部分的一系列图像；以及如上面所描述的处理单元。该设备还可以包括：摄像头，用于捕获表示对象的头部的至少一部分的图像数据。在一些实施例中，该设备可以包括智能镜子、平板计算机、智能电话、膝上型计算机和台式计算机中的一个。根据第四方面，提供了一种包括指令的机器可读介质，这些指令在由处理器执行时使处理器：基于对象的头部的第一多个主要特征的位置来在一系列图像中追踪对象的头部的位置；基于第一多个主要特征的位置来确定对象的头部的位置的第一置信水平；并且当确定第一置信水平低于定义的阈值时，基于次要特征的位置、而不是主要特征的位置来追踪对象的头部的位置。该机器可读介质可以包括指令，这些指令在由处理器执行时使处理器：在基于次要特征的位置来追踪对象的头部的位置时监测对象的头部的第二多个主要特征的位置；基于第二多个本文档来自技高网...

【技术保护点】
1.一种用于在一系列图像中追踪对象的头部的方法，所述方法包括：接收对象的头部的至少一部分的一系列图像；基于所述对象的头部的第一多个主要特征的位置来在所述一系列图像中追踪所述对象的头部的位置；基于所述第一多个主要特征的所述位置来确定所述对象的头部的所述位置的第一置信水平；监测次要特征的位置；以及当确定所述第一置信水平低于定义的阈值时，基于所述次要特征的所述位置、而不是所述主要特征的所述位置来追踪所述对象的头部的所述位置。

【技术特征摘要】
【国外来华专利技术】2016.12.14 EP 16204084.41.一种用于在一系列图像中追踪对象的头部的方法，所述方法包括：接收对象的头部的至少一部分的一系列图像；基于所述对象的头部的第一多个主要特征的位置来在所述一系列图像中追踪所述对象的头部的位置；基于所述第一多个主要特征的所述位置来确定所述对象的头部的所述位置的第一置信水平；监测次要特征的位置；以及当确定所述第一置信水平低于定义的阈值时，基于所述次要特征的所述位置、而不是所述主要特征的所述位置来追踪所述对象的头部的所述位置。2.根据权利要求1所述的方法，其中对于所述一系列图像中的特定图像，所述第一置信水平是基于所述第一多个主要特征的置信水平的组合。3.根据权利要求1或者权利要求2所述的方法，还包括：在基于所述次要特征的所述位置来追踪所述对象的头部的所述位置期间，监测所述对象的头部的第二多个主要特征的位置；基于所述第二多个主要特征的所述位置来确定所述对象的头部的所述位置的第二置信水平；当确定所述第二置信水平高于定义的阈值时，基于所述第二多个主要特征的所述位置、而不是所述次要特征的所述位置来追踪所述对象的头部的位置。4.根据前述权利要求中任一项所述的方法，还包括：在基于所述主要特征的所述位置来追踪所述对象的头部的所述位置期间，标识候选次要特征作为待被用于追踪所述对象的头部的潜在次要特征。5.根据权利要求4所述的方法，还包括：基于所述第一多个主要特征中的一个或者多个主要特征的所述位置来确定所述候选次要特征的所述位置的置信水平；当确定所述候选次要特征的所述位置的所述置信水平低于定义的阈值时，丢弃作为待被用于追踪所述对象的头部的潜在次要特征的所述候选次要特征。6.根据权利要求4所述的方法，还包括：使所述对象的头部的三维模型适合于表示所述主要特征的所述位置的坐标；基于从所述多个图像中的第一图像和第二、后一图像获得的所述主要特征的所述...

【专利技术属性】
技术研发人员：K·C·范布雷，L·J·维尔索奥文，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL