对图像的对象进行分类的方法和设备及计算机程序产品技术

本公开涉及对当前图像(100)的对象进行分类的方法(10)，表示所述对象的形状的多个(111)第一关键点与当前图像相关联，第一唯一标识符与每个第一关键点相关联。根据本公开，所述方法包含：针对至少第一关键点，获得(112)描述当前图像的包含所选择的至少第一关键点的区域的至少第一描述符；所述至少第一关键点根据其第一标识符来选择，并且当其第一标识符对应于第二关键点的第二标识符时，在用于对所述对象进行分类的分类器中使用其第二描述符；根据所述至少第一描述符并且根据与所述第二描述符相关联的加权信息来确定(113)表示所述形状的置信度的信息。

Method and apparatus for classifying objects of an image, and computer program products

The disclosure relates to the current image (100) classify the object (10), representing the object shape of a plurality of (111) the first point associated with the current image, the first unique identifier associated with each of the first key point. According to the disclosure, the method includes at least the first key point, obtained (112) description of the current image contains at least the first descriptor for at least the first key point of the selected region; the at least first key point according to the first identifier to select second, when the first identifier and identifier corresponding to the second key points when used in the classifier of the object using the second descriptors; according to the at least first and second according to the descriptor and the descriptor weighted information associated to determine (113) table of confidence information indicating the shape of.

【技术实现步骤摘要】
对图像的对象进行分类的方法和设备及计算机程序产品
本公开涉及计算机视觉，并且更具体地涉及也被称为对象识别的找到并标识图像或视频序列中的给定语义类别(亦即，对象)的计算机视觉问题。更具体地，本公开涉及正确地确定图像中的对象的形状。本公开的原理在诸如面部动画、人机交互、视频会议的视线校正、面部润饰、辩论(forensics)或者检测动物并且估计其确切的身体姿势这样的实现对象识别的任何领域中找到具体的应用。
技术介绍
计算能力增加的主要益处之一是计算机视觉应用的数量的稳定增加。以前不可能在任何合理的时间量内解决的计算机视觉问题已经变得越来越可行。有利地对图像或视频序列中的对象进行检测和分类是计算机视觉的主要挑战之一。检测包括对问题“对象/类别x在图像中？”给出一比特回答(one-bitanswer)。若干机器学习方法已经被应用于该问题，其展示了对象检测准确度和速度的显著提高。另外，在大多数情况下，仅建立对象的存在/不存在是不够的，希望还知道其在图像中的确切位置，或者甚至独立地检测和定位组成对象的部分。如P.Dollar等人所公开的那样(“CascadedPoseRegression”，IEEEComputerVisionandPatternrecognition，2010年，页1078-1085)，在其最简单的形式中，定位由标识包含所搜索的对象的图像的最小矩形区域组成，但是更一般地，希望恢复对象的“形状”。形状指的是所铰接的对象(和组成它们的部分)的几何配置，例如人类身体上的肢体的配置或者车辆的布局。更宽泛地，形状是对象的外观中的系统的且可参数化的改变的任何集合。为此目的，已经开发出关键点(landmark)估计方法。在这样的方法之中，如上所述的由P.Dollar所公开的级联姿势回归(cascadedposeregression，CPR)技术被用于面部关键点检测，其也被称为形状估计(其中，术语“形状在这里指的是表征面部的几何形状的关键点位置的集合)。更准确地说，级联姿势回归(CPR)通过从未加工的初始形状猜测S0开始的T个回归量R1…T的级联和逐渐的精细化估计来形成，输出最终的形状估计ST。形状S表示为P个部分位置的级数Sp＝[xp,yp]，p∈1…P。典型地，这些部分对应于面部关键点。在每次迭代时，回归量Rt产生更新的δS，然后将更新的δS与先前迭代的估计St-1组合以形成新的形状。在学习期间，训练每个归回量Rt以尝试最小化真实形状与先前迭代St-1的形状估计之间的差异。可用的特征取决于当前形状估计，并且因此在算法的每次迭代中改变，这样的特征被称为姿势索引的(pose-indexed)或形状索引的(shape-indexed)特征，并且CPR技术的要点在于计算健壮形状索引的特征，并且训练回归量能够逐渐地减小每次迭代时的估计误差。健壮级联姿势回归(PCRR)是一种从CPR得出并且能够处理由专利技术人之一X.P.Burgos-Artizzu等人(“Robustfacelandmarkestimationunderocclusion”，IEEEInternationalConferenceonComputerVision，2013年，悉尼)所公开的遮挡(occlusions)的算法。该方法需要训练集中的遮挡的地面实况注释。因此，代替仅通过其x和y坐标来定义部分位置，添加可视性参数，并且还可以在与部分定位相同的时间时学习可视性参数。然而，CPR或者甚至是RCPR技术不会一直成功地正确估计对象的形状，特别是在处理在姿势和遮挡方面非常有挑战性的面部时。当前，这样的对象形状估计失败需要由操作者手动检测，这是一个冗长乏味且耗时的过程。因此，对于将自动形状估计方法所提供的结果自动分类成好的或不好的结果，仍然存在相当多的需求。
技术实现思路
下面给出本公开的简化的概要，以便提供对本公开的一些方面的基本的理解。该概要不是本公开的广泛的概览。其不用于标识本公开的关键或重要的元件。下面的概要仅以简化的形式呈现本公开的一些方面，作为下面所提供的更详细的说明的序言。本公开着手通过对当前图像的对象进行分类的方法来补救现有技术的至少一个缺点，表示所述对象的形状的多个第一关键点与当前图像相关联，第一唯一标识符与每个第一关键点相关联。这样的方法包含：-针对在多个第一关键点之中所选择的至少第一关键点，获得描述包含所选择的至少第一关键点的当前图像的区域的至少第一描述符，○所述至少第一关键点根据其第一标识符来选择，○所述至少第一关键点在其第一标识符对应于第二关键点的第二标识符时选择，在用于对所述对象进行分类的分类器中使用其第二描述符，-根据所述至少第一描述符并且根据与所述第二描述符相关联的加权信息来确定表示所述形状的置信度的信息。因此，本公开依赖于一种对当前图像的对象进行分类的新颖的且有创造性的方法。实际上，本公开得益于图像的对象的分类器的特定属性，并且对所估计的关键点的优良性进行评级。更准确地说，所述当前图像对应于测试图像。所述测试图像用多个第一关键点来注释(在下文中，术语“第一”总是与测试图像相关联，而术语“第二”总是与分类器相关联)。所述多个中的每个关键点通过标识符来标识，其对于相同类型的对象是永久性的。换句话说，考虑对象对应于人类或动物面部，例如将使用68个关键点对这样的面部进行注释，并且位于左眼的左角上的关键点总是通过数量7来标识，位于左眼的中间的关键点总是通过数量8来标识，并且位于左眼右角上的关键点总是通过数字9来标识，以此类推。需要注意的是，根据本公开的方法可以被用于对人类或面部动物之外的其他类型的对象进行分类，诸如需要在图像中被定位以用于后期处理的车辆、植物或建筑。因此，被用于注释测试图像的第一关键点以与对应于语义方法的分类器所使用的第二关键点相同的方式来编号，以根据输入的数据集来建立分类模型。然后，分类器能够提供一个第二关键点的标识符(所述标识符在本公开中被称为“第二标识符”)，其描述符(所述描述符在本公开中被称为“第二描述符”)对于参照分类器先前已经被训练的图像的集合(测试图像不属于训练图像的集合)对对象进行分类最有辨别力。所述第二描述符以及与其相关联的加权信息由分类器来提供。然后，使用所述第二标识来选择被用于注释呈现相同标识符的测试图像的第一关键点。当获得与分类器所提供的第二标识符呈现相同的标识符的所述第一关键点时，与其相关联的第一关键点的描述符(被称为第一描述符)然后被用于确定表示与被用于注释所述测试图像的第一关键点的集合相对应的所述形状估计的置信度的信息。这样的确定需要所述第一描述符以及分类器所提供的与第二描述符相关联的加权信息两者作为输入。换句话说，根据本公开所提出的方法利用分类器的先前的学习来直接选择测试图像的第一描述符，其对应于分类器所学习到的最有辨别力的第二描述符。需要注意的是，根据本公开，能够独立于本方法的实现方式来训练分类器。唯一的要求是分类器能够提供这样的有辨别力的第二描述符的标识符以及与其相关联的加权信息。因此，快速且有效地获得对测试图像所应用的自动形状估计方法所提供的结果的全局评级，其允许对测试图像进行实时评级。换句话说，能够进行测试图像的形状注释的“在线”评估。根据本公开的具体方面，确定表示置信度本文档来自技高网...

【技术保护点】
一种对当前图像(100)的对象进行分类的方法(10)，表示所述对象的形状的多个(111)第一关键点与当前图像(10)相关联，第一唯一标识符与每个第一关键点相关联，所述方法包含：针对在多个(111)第一关键点之中选择的至少第一关键点，获得(112)描述当前图像的包含所选择的至少第一关键点的区域的至少第一描述符；所述至少第一关键点根据其第一标识符来选择；当其第一标识符对应于第二关键点的第二标识符时，选择所述至少第一关键点，在用于对所述对象进行分类的分类器中使用其第二描述符；根据所述至少第一描述符并且根据与所述第二描述符相关联的加权信息来确定(113)表示所述形状的置信度的信息。

【技术特征摘要】
2015.08.28 EP 15306329.21.一种对当前图像(100)的对象进行分类的方法(10)，表示所述对象的形状的多个(111)第一关键点与当前图像(10)相关联，第一唯一标识符与每个第一关键点相关联，所述方法包含：针对在多个(111)第一关键点之中选择的至少第一关键点，获得(112)描述当前图像的包含所选择的至少第一关键点的区域的至少第一描述符；所述至少第一关键点根据其第一标识符来选择；当其第一标识符对应于第二关键点的第二标识符时，选择所述至少第一关键点，在用于对所述对象进行分类的分类器中使用其第二描述符；根据所述至少第一描述符并且根据与所述第二描述符相关联的加权信息来确定(113)表示所述形状的置信度的信息。2.根据权利要求1所述的对当前图像的对象进行分类的方法，其中，所述确定表示置信度的信息包含：比较(1131)所述至少第一描述符和与所述至少第二描述符相关联的阈值。3.根据权利要求1或2所述的对当前图像的对象进行分类的方法，其中，对表示置信度的所述信息进行归一化(1132)以提供置信度的概率值。4.根据权利要求1或2所述的对当前图像的对象进行分类的方法，其中，所述分类器是实现多个迭代的迭代(1040)分类器，其中，从第二迭代开始，每次迭代使用先前迭代的结果。5.根据权利要求1或2所述的对当前图像的对象进行分类的方法，其中，所述第一和第二描述符是相同类型的，所述类型属于包含以下的分组：有向梯度的直方图；表示轮廓的信息；亮度值；强度值；纹理值。6.根据权利要求1或2所述的对当前图像的对象进行分类的方法，其中，所述方法包含对所述分类器的先前训练(1020)。7.根据权利要求1或2所述的对当前图像的对象进行分类的方法，其中，所述方法包含所述当前图像的所述对象的先前关键点注释(1102)。8.一种对当前图像的对象进行分类的设备，表示所述对象的形...

【专利技术属性】
技术研发人员：X布尔戈斯，N卡巴伊，F勒克莱尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR