对象形状检测装置和方法、图像处理装置及监视系统制造方法及图纸

本发明专利技术提供对象形状检测装置和方法、图像处理装置及监视系统。该装置检测输入图像的对象区域中的对象的对象形状，并包括：形状获取单元，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象形状，并将获取的形状视为对象的当前形状；形状确定单元，通过基于预生成的第一模型的至少一个集合及预生成的第二模型的至少一个级更新对象的当前形状，确定对象形状。其中，形状确定单元包括：基于预生成的第一模型的至少一个集合来由对象的当前形状确定可见特征点的单元；通过基于可见特征点周围的特征及预生成的第二模型的至少一个级确定对象的当前形状的形状增量来更新对象的当前形状的单元。根据本发明专利技术，将提高对象形状检测的准确度。

【技术实现步骤摘要】
对象形状检测装置和方法、图像处理装置及监视系统
本专利技术涉及图像处理，尤其涉及，例如，对象形状检测装置和方法、图像处理装置及监视系统。
技术介绍
自动地且精确地检测由特征点的集合描述的对象形状(例如脸形、体形等)是计算机视觉
中的关键任务，诸如脸部识别、表情分析、身体检测等。近年来，基于回归的方法已取得了很大的进步，例如在FaceAlignmentbyExplicitShapeRegression(XudongCao,YichenWei,FangWen,JianSun.CVPR,2012)中公开的方法、以及在SupervisedDescentMethodanditsApplicationstoFaceAlignment(X.XiongAndF.DelaTorre.CVPR,2013)中公开的方法。这些基于回归的方法主要包括：获取输入图像中的对象的初始形状，其中，由多个特征点来表示初始形状；然后，使用预生成的级(cascade)回归模型来逐步更新对象的初始形状，使得最终检测出的对象的形状可以接近实际的对象形状。其中，针对一个回归模型，操作包括：从对象的当前形状的所有特征点提取特征，基于所提取的特征和该回归模型预测针对所有特征点的位置增量，并且基于对应的位置增量更新所有特征点的位置。也就是说，在上述的基于回归的方法中，针对各个级回归操作，将从对象的当前形状的所有特征点提取用于预测位置增量的特征。然而，要检测的对象通常伴随各种变化，诸如由对象的转动和/或由配件(诸如眼镜、面罩等)引起的遮挡(occlusion)而产生的变化、由不均匀的照明产生的变化、由曝光产生的变化等。图1A示意性示出了伴随由转动引起的遮挡而产生的变化的示例性对象(即脸部)。图1B示意性示出了伴随由眼镜引起的遮挡而产生的变化的示例性对象。如图1A和图1B中所示，这些变化会使对象的形状的特征点的一部分不可见，这将使从这种特征点提取的特征不可靠。换言之，从这种特征点提取的特征将造成对对象形状检测的噪声。在对象形状检测期间，用于预测位置增量的特征的准确度将直接影响对象的最终形状的准确度。因此，如果在对象形状检测期间，将从这种特征点提取的特征用于预测位置增量，则最后检测出的对象的形状将与实际的对象形状偏离太多。换言之，从这种特征点提取的特征将影响对象形状检测的准确度。
技术实现思路
因此，鉴于以上在
技术介绍
中的叙述，本公开旨在解决如上所述的问题。根据本专利技术的一个方面，提供了一种用于检测输入图像的对象区域中的对象的对象形状的装置，所述装置包括：形状获取单元，其被构造为，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及形状确定单元，其被构造为通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状。其中，所述形状确定单元包括：可见特征点确定单元，其被构造为基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及形状更新单元，其被构造为通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状。采用本专利技术的优点，不管要检测的对象是否伴随上述变化，都将提高对象形状检测的准确度。通过以下参照附图的描述，本专利技术的进一步的特性特征和优点将变得清楚。附图说明并入说明书中并构成说明书的一部分的附图例示了本专利技术的实施例，并与描述一起用来解释本专利技术的原理。图1A至图1B示意性示出了伴随由遮挡产生的变化的、要检测的示例性对象。图2是示意性示出能够实现根据本专利技术的实施例的技术的硬件构造的框图。图3是例示根据本专利技术的实施例的对象形状检测装置的构造的框图。图4是例示根据本专利技术的如图3所示的可见特征点确定单元321的一种构造的框图。图5是例示根据本专利技术的如图3所示的可见特征点确定单元321的另一种构造的框图。图6是例示根据本专利技术的如图3所示的形状更新单元322的一种构造的框图。图7示意性示出了根据本专利技术的实施例的对象形状检测的流程图。图8示意性示出了根据本专利技术的如图7所示的可见特征点确定步骤S720的流程图。图9示意性示出了根据本专利技术的如图7所示的可见特征点确定步骤S720的另一流程图。图10是示意性示出用于生成可以在本专利技术的第一使用情况下使用的对应的第一模型的生成方法的流程图。图11是示意性示出用于生成可以在本专利技术的第二使用情况下使用的对应的第一模型的生成方法的流程图。图12是示意性示出用于生成可以与根据图10和图11所示的生成方法生成的对应的第一模型一起使用的对应的第二模型的生成方法的流程图。图13是示意性示出用于生成可以在本专利技术的第三使用情况下使用的对应的第一模型和对应的第二模型的生成方法的流程图。图14是示意性示出用于生成可以在本专利技术的第四使用情况下使用的对应的第一模型和第二模型的生成方法的流程图。图15例示了根据本专利技术的示例性图像处理装置的布置。图16例示了根据本专利技术的示例性监视系统的布置。具体实施方式下面将参照附图详细描述本专利技术的示例性实施例。应当注意的是，以下描述本质上仅仅是说明性的和示例性的，并且决不意图限制本专利技术及其应用或用途。在实施例中阐述的部件和步骤的相对布置、数值表达和数值并不限制本专利技术的范围，除非另有具体声明。此外，本领域技术人员已知的技术、方法和设备可能不作详细讨论，但是适当时意在作为说明书的一部分。请注意，在附图中，类似的附图标记和字母指代类似的项目，因此一旦项目在一幅图中被定义，则不必针对下面的附图讨论该项目。如上所述，在上述的基于回归的方法中，不管对象的当前形状的特征点是否是可见的，都从所有特征点提取用于预测位置增量的特征。其中，在本专利技术中，由上述的变化造成不可见的、对象的当前形状的特征点被视为不可见特征点，并且对象的当前形状的其他特征点被视为可见特征点。也就是说，在上述的对象形状检测期间，将从可见特征点和不可见特征点二者提取特征。如上所述，用于预测位置增量的特征的准确度将直接影响对象的最终形状的准确度，并且从不可见特征点提取的特征将影响特征的准确度。因此，专利技术人发现，不管要检测的对象是否伴随上述的变化，如果用于预测位置增量的特征总是可靠的，则对象的最终形状都将更加准确。通常，不管要检测的对象是否伴随上述的变化，对象的当前形状的某些特征点总是可见的。以图1A所示的对象(即脸部)为例，脸部转向左边，除了不可见特征点(例如，左眼的左角的特征点、鼻子的左角的特征点以及嘴的左角的特征点)，其他特征点总是可见的(即，其他特征点总是可见特征点)。因此，专利技术人发现，在对象形状检测期间，如果可以确定对象的当前形状的可见特征点，并且如果仅从所确定的可见特征点提取的特征被用于预测针对可见特征点和不可见特征点二者的位置增量，则可以避免由不可见特征点造成的噪声，并且可以提高对象形状检测的准确度。在本专利技术中，在各个级回归操作中，首先，将通过使用基于多个样本图像当中的特征点的实际可见性状态而生成的预生成的第一模型，来动态地确定对象的当前形状的可见特征点，然后，将通过确定对应的形状增量，来更新对象的当前形状。其中，形状增量由对象的当前形状中的各个特征点的位置增量来表示，并且本文档来自技高网...

【技术保护点】
一种用于检测输入图像的对象区域中的对象的对象形状的装置，所述装置包括：形状获取单元，其被构造为，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及形状确定单元，其被构造为通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状；其中，所述形状确定单元包括：可见特征点确定单元，其被构造为基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及形状更新单元，其被构造为通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状。

【技术特征摘要】
1.一种用于检测输入图像的对象区域中的对象的对象形状的装置，所述装置包括：形状获取单元，其被构造为，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及形状确定单元，其被构造为通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状；其中，所述形状确定单元包括：可见特征点确定单元，其被构造为基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及形状更新单元，其被构造为通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状。2.根据权利要求1所述的装置，其中，针对对象的当前形状的特征点中的任一个，所述可见特征点确定单元包括：可见性度量确定单元，其被构造为基于从包含该特征点的区域获得的特征、以及与该特征点相对应的预生成的第一模型中的一个，确定针对该特征点的可见性度量；以及可见性判断单元，其被构造为通过将可见性度量与对应于该特征点的预定义阈值进行比较，判断该特征点是否是可见特征点。3.根据权利要求1所述的装置，其中，所述对象由组元构成，并且针对对象的当前形状，所述可见特征点确定单元包括：组元区域确定单元，其被构造为基于对象的当前形状的特征点，确定对象的当前组元区域；遮挡度量确定单元，其被构造为，针对各个当前组元区域，基于从该当前组元区域获得的特征、以及与该当前组元区域相对应的预生成的第一模型中的一个，确定针对该当前组元区域的遮挡度量；遮挡判断单元，其被构造为，针对各个当前组元区域，通过将遮挡度量与对应于该当前组元区域的预定义阈值进行比较，来判断该当前组元区域是否是遮挡区域；以及可见性判断单元，其被构造为，针对各个当前组元区域，基于该当前组元区域是否是遮挡区域，来判断该当前组元区域内的特征点是否是可见特征点。4.根据权利要求3所述的装置，其中，在所述遮挡判断单元判断该当前组元区域不是遮挡区域的情况下，所述可见性判断单元判断该当前组元区域内的特征点是可见特征点；并且在所述遮挡判断单元判断该当前组元区域是遮挡区域的情况下，所述可见性判断单元判断该当前组元区域内的特征点不是可见特征点。5.根据权利要求1所述的装置，其中，针对预生成的第二模型的第q级，q为大于或等于1的整数，所述形状更新单元包括：特征提取单元，其被构造为从输入图像的对应区域提取特征，其中，所述区域包含对象的当前形状的可见特征点；以及当前形状更新单元，其被构造为，通过基于所提取的特征以及预生成的第二模型的第q级确定对象的当前形状的形状增量来更新对象的当前形状，并且将更新后的形状视为对象的当前形状。6.根据权利要求1所述的装置，其中，所述预生成的形状是由多个样本图像生成的对象的平均形状，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状；并且对象的当前形状的形状增量由对象的当前形状的各个特征点的位置增量来表示。7.根据权利要求2所述的装置，其中，所述预生成的第一模型是判断器，并且在由所述可见特征点确定单元使用所述预生成的第一模型的仅一个集合的情况下，通过以下步骤来生成所述预生成的第一模型的该集合：获取多个样本图像，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状，其中，各个样本图像中的各个特征点被标记有可见性标签或不可见性标签；针对样本图像当中的标记的对象的形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且针对样本图像当中的标记的对象的形状的各个特征点，通过使用分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。8.根据权利要求2所述的装置，其中，所述预生成的第一模型是判断器，并且在由所述可见特征点确定单元使用所述预生成的第一模型的多于一个的集合的情况下，通过以下步骤来生成所述预生成的第一模型的第t集合，t等于1：获取多个样本图像，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状，其中，各个样本图像中的各个特征点被标记有可见性标签或不可见性标签；针对样本图像当中的标记的对象的形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且针对样本图像当中的标记的对象的形状的各个特征点，通过使用分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。9.根据权利要求8所述的装置，其中，通过以下步骤来生成所述预生成的第一模型的第t集合，t为大于或等于2的整数：针对样本图像当中的对象的当前形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且针对样本图像当中的对象的当前形状的各个特征点，通过使用所述分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。10.根据权利要求3所述的装置，其中，所述预生成的第一模型是判断器，并且在由所述可见特征点确定单元使用所述预生成的第一模型的仅一个集合的情况下，通过以下步骤来生成所述预生成的第一模型的该集合：获取多个样本图像，在所述多个样本中，利用对应的特征点标记出对象的组元的形状，其中，与各个样本...

【专利技术属性】
技术研发人员：赵东悦，黄耀海，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP