对象识别方法和装置制造方法及图纸

本公开涉及对象识别方法和装置。特别地，本公开提出了一种模板确定装置，所述模板确定装置包括属性分布确定单元，被配置为确定多个图像中的特定属性的分布；以及模板确定单元，被配置为根据所确定的所述多个图像的特定属性的分布由所述多个图像适应性地确定模板集合。其中，所确定的模板集合将被用于图像规范化。

Object recognition methods and devices

【技术实现步骤摘要】
对象识别方法和装置
本公开涉及图像中的对象识别，特别涉及自适应性的图像对象识别。
技术介绍
近年来，静态图像或一系列运动图像中的对象检测/识别/跟踪被普遍地和重要地应用于图像处理、计算机视觉和图案识别领域，并且在其中起到重要作用。对象可以是人的身体部位，诸如脸部、手部、身体等，其它生物或者植物，或者任何其它希望检测的物体。在对象检测/识别/跟踪操作中，对象对齐起着非常重要的作用。常见的对象对齐操作例如是人脸对齐操作。在人脸对齐操作中通常包括基于模板的人脸对齐和基于空间变换网络(STN)的人脸对齐。在传统的基于模板的人脸对齐中，通过相似性变换将人脸往同一个正脸模板进行对齐。在传统的基于空间变换网络的人脸对齐中，空间变换网络通过学习将所有的人脸对齐至同一个最适于识别的姿态。但是，在这样的传统的人脸对齐操作中，将所有的图像对齐至同一图像会在图像中引入噪声和畸变。特别地，对于角度较大的人脸图片，尤其是全侧脸图片，在对齐至正脸模板的过程中会出现更大的噪声，包括更大的脸部图像的几何畸变和信息损失。这样的畸变会使得图像失真增大，进而使得人脸识别模型的精确度下降。因此，需要改进的技术来改善图像中的对象识别。除非另有说明，否则不应假定本节中描述的任何方法仅仅因为包含在本节中而成为现有技术。同样，除非另有说明，否则关于一种或多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中都认识到。
技术实现思路
本公开的一个目的是改进图像中对象识别。本公开提出了改进的用于优化对象识别中的图像规范化(normalize/正规化)(例如，对齐)，其中通过参照训练图像的属性分布自适应性地确定用于图像规范化的模板，从而所确定的模板使得图像能够被更优化地进行规范化，而且基于这样的规范化后的图像的对象识别可得到改进。本公开提出了改进的用于对象识别的模板的确定，其中通过利用如上文所述的被优化地规范化的训练图像来确定用于对象识别的模型，使得用于对象识别的模型可被改进，由此可以进一步改进对象识别。本公开还提出了一种改进的对象识别方法，其中利用如上文所述的改进的模板将对象图像进行规范化，提取规范化后的对象图像的特征，从而可以进一步改善对象识别结果。在一个方面，提供了一种模板确定装置，所述模板确定装置包括属性分布确定单元，被配置为确定多个图像中的特定属性的分布；以及模板确定单元，被配置为根据所确定的所述多个图像的特定属性的分布由所述多个图像适应性地确定模板集合。其中，所确定的模板集合将被用于图像规范化。在另一方面，提供了一种模板确定方法，所述模板确定方法包括属性分布确定步骤，确定多个图像中的特定属性的分布；以及模板确定步骤，根据所确定的所述多个图像的特定属性的分布由所述多个图像适应性地确定模板集合。其中，所确定的模板集合将被用于图像规范化。在另一方面，提供了一种模型生成装置，所述模板生成装置包括模板集合生成单元，被配置为将根据前文所述方法应用于包含所述对象的多个训练图像以生成模板集合；规范化单元，被配置为将多个训练图像中的每一个中的训练图像根据模板集合中的与其对应的模板来进行规范化；以及模型训练单元，被配置为基于经规范化的多个训练图像进行训练来确定对象识别模型。在还另一方面，提供了一种模型生成方法，所述模型生成方法包括模板集合生成步骤，将根据前文所述的方法应用于包含所述对象的多个训练图像以生成模板集合；规范化步骤，将多个训练图像中的每一个中的训练图像根据模板集合中的与其对应的模板来进行规范化；以及模型训练步骤，基于经规范化的多个训练图像进行训练来确定对象识别模型。在还另一方面，提供了一种模型生成装置，所述模型生成装置包括被配置为通过分类网络对多个图像的特定属性进行分类的单元；被配置为根据特定属性的分类将所述多个图像分成特定数量的集合的单元，每个集合具有相同的属性分类标签；被配置为通过变换网络对图像集合进行训练以获得规范化后的图像的单元；以及被配置为基于规范化的图像来生成对象识别模型的单元。在还另一方面，提供了一种模型生成方法，所述模型生成方法包括一下步骤：通过分类网络对多个图像的特定属性进行分类；根据特定属性的分类将所述多个图像分成特定数量的集合，每个集合具有相同的属性分类标签；通过变换网络对图像集合进行训练以获得规范化后的图像；以及基于规范化的图像来生成对象识别模型。在还另一方面，提供了一种对象识别装置，所述对象识别装置包括待识别图像规范化单元，被配置为对待识别图像进行规范化以获得经规范化的待识别图像；以及识别单元，被配置为将通过前文所述的方法生成的对象识别模型应用于经规范化的待识别图像以获得对象的特征向量，以用于对象识别。在还另一方面，提供了一种对象识别方法，所述对象识别方法包括待识别图像规范化步骤，对待识别图像进行规范化以获得经规范化的待识别图像；以及识别步骤，将通过根据前文所述的方法生成的对象识别模型应用于经规范化的待识别图像以获得对象的特征向量，以用于对象识别。在还另一方面，提供了一种包括至少一个处理器和至少一个存储设的设备，所述至少一个存储设备其上存储有指令，该指令在由所述至少一个处理器执行时可使得所述至少一个处理器执行如本文所述的方法。在仍另一方面，提供了一种存储有指令的存储介质，该指令在由处理器执行时可以使得执行如本文所述的方法。从参照附图的示例性实施例的以下描述，本专利技术的其它特征将变得清晰。附图说明并入说明书中并且构成说明书的一部分的附图示出了本专利技术的实施例，并且与描述一起用于解释本专利技术的原理。在附图中，相似的附图标记指示相似的项目。图1A，1B为根据现有技术的脸部识别的概略图。图2A，2B，2C为根据本公开的脸部识别的概略图。图3示出了根据本公开的第一实施例的模板生成装置。图4示出了根据本公开的第一实施例的模板生成方法。图5示出了根据本公开的第一实施例的自适应模板集合与现有技术的模板的比较。图6示出了根据本公开的第一实施例的关于人脸水平角度确定模板集合的概略图。图7示出了根据本公开的第一实施例的关于人脸俯仰角度确定模板集合的概略图。图8示出了根据本公开的第一实施例的在考虑了应用场景的情况下关于人脸水平角度确定模板集合的概略图。图9示出了根据本公开的第二实施例的模型生成装置。图10示出了根据本公开的第二实施例的模型生成方法。图11示出了根据本公开的第二实施例的模型生成操作的概略图。图12示出了根据本公开的第二实施例的关于人脸水平角度的模型生成操作的概略图。图13示出了根据本公开的第二实施例的关于人脸俯仰角度的模型生成操作的概略图。图14示出了根据本公开的第二实施例的在考虑了应用场景的情况下关于人脸水平角度的模型生成操作的概略图。图15示出了根据本公开的第三实施例的模型生成装置。图16示出了根据本公开的第三实施例的模型生成方法。图17A和17B示出了根本文档来自技高网...

【技术保护点】
1.一种用于关于多个图像确定模板的装置，其特征在于，包括：/n属性分布确定单元，被配置为确定多个图像中的特定属性的分布；以及/n模板确定单元，被配置为根据所确定的所述多个图像的特定属性的分布由所述多个图像适应性地确定模板集合；/n其中，所确定的模板集合将被用于图像规范化。/n

【技术特征摘要】
1.一种用于关于多个图像确定模板的装置，其特征在于，包括：
属性分布确定单元，被配置为确定多个图像中的特定属性的分布；以及
模板确定单元，被配置为根据所确定的所述多个图像的特定属性的分布由所述多个图像适应性地确定模板集合；
其中，所确定的模板集合将被用于图像规范化。


2.根据权利要求1所述的装置，其中，所述特定属性为选自包括图像属性和对象属性的组中的至少一个。


3.根据权利要求2所述的装置，其中，所述图像属性为选自包括图像的分辨率、图像的照度、图像的模糊度的组中的至少一个；和/或
其中，所述对象属性为选自包括图像中对象的水平朝向角度、俯仰角度、图像中对象的比例的组中的至少一个。


4.根据权利要求1所述的装置，其中，所述特定属性的分布是在预定范围内的分布。


5.根据权利要求4所述的装置，其中，所述特定属性为图像中对象的水平朝向角度，并且，所述预定范围为[0,90°]或者[-90°,90°]。


6.根据权利要求1所述的装置，其中，所述模板确定单元进一步配置为：
确定所述多个图像中属于特定场景的图像，以及
根据属于该特定场景的图像的所述特定属性的分布由属于该特定场景的图像生成与该特定场景对应的模板，以构成所述模板集合。


7.根据权利要求1所述的装置，其中，所述多个图像被包含在训练图像集合中，并且所述训练图像集合中的除所述多个图像之外的图像不被用于生成模板。


8.根据权利要求1所述的装置，其中，所述模板确定单元包括：
聚类单元，被配置为根据所述多个图像的所述特定属性的分布由所述多个图像获得预定数量的聚类；并且
模板生成单元，被配置为对于每一聚类生成一个模板，
其中，所生成的预定数量的模板构成所述模板集合。


9.根据权利要求8所述的装置，其中，所述聚类单元被配置为对于每一聚类，属于该聚类的各图像的属性值与聚类中心的属性值之间的差异之和最小。


10.根据权利要求8所述的装置，其中，对于每个聚类，由其生成的模板的属性值等于该聚类的中心。


11.根据权利要求8所述的装置，其中，聚类的中心等于属于该聚类的所有图像的属性值的均值。


12.根据权利要求8所述的装置，其中，模板生成单元被配置为：
计算该聚类中的所有对象图像的对象标记的平均坐标；
计算该聚类中的所有对象图像的属性值的平均属性值；以及
利用所计算的平均坐标以及平均属性值来生成该聚类的模板。


13.根据权利要求8所述的装置，其中，所述预定数量通过如下操作被确定：
对于多个图像分别进行N次聚类，其中对于第M次聚类，
确定M个模板；
将多个训练图像中的每一个根据M个模板中的对应模板进行相应地规范化，并且
依据规范化之后的图像来训练得到关于该次聚类的训练模型，以及
选择N个所获得的训练模型中的识别精度最高的模型所对应的模板数量作为所述预定数量，
其中N为大于等于1的整数，M是大于等于1且小于等于N的整数。


14.根据权利要求1所述的装置，其中，所述特定属性包括至少一个属性，并且所述模板确定单元包括：
模板子集确定单元，被配置为对于所述至少一个属性中的每一个，根据所述多个图像的该属性的分布确定对应于该属性的模板子集，
其中，由所述至少一个模板子集构成所述模板集合。


15.根据权利要求1所述的装置，其中，在进一步接收到新图像之后，根据所接收到的新图像中的至少一些图像与先前被用于确定模板的多个图像来确定新模板集合，所述模板新集合中的对应于特定属性的模板的数量与由所述多个图像确定的模板集合中的对应于该属性的模板的数量相同或者不同。


16.一种用于生成对象识别模型的装置，其特征在于，包括：
模板集合生成单元，被配置为将根据权利要求1-15中任一项所述的装置应用于包含所述对象的多个训练图像以生成模板集合；
规范化单元，被配置为将多个训练图像中的每一个中的训练图像根据模板集合中的与其对应的模板来进行规范化；以及
模型训练单元，被配置为基于经规范化的多个训练图像进行训练来确定对象识别模型。


17.根据权利要求16所述的装置，其中，所述规范化单元被配置为将所述多个训练图像中的特定场景的图像根据与该特定场景对应的模板进行规范化。


18.根据权利要求16所述的装置，其中，所述规范化单元被配置为：在模板集合包含对应于至少一个属性的模板子集的情况下，对于所述至少一个属性按特定顺序进行以下操作：
对于每一属性，选择该属性的模板子集中的与该训练图像之间的该属性的属性值差异最小的模板作为与该训练图像对应的模板，以对该训练图像进行关于该属性的规范化。


19.根据权利要求18所述的装置，其中，所述特定顺序为先是图像属性、然后是对象属性的顺序。


20.根据权利要求16所述的装置，其中，与训练图像对应的模板指的是模板集合中的如下的模板，该模板与该图像的至少一个属性值的差异的统计值最小，其中所述统计值选自包括差异的均值、加权均值、中值的组中的一个。


21.一种对象识别模型生成装置，其特征在于，包括：
分类单元，被配置为通过分类网络对多个图像的特定属性进行分类；
划分单元，被配置为根据特定属性的分类将所述多个图像分成特定数量的集合，每个集合具有相同的属性分类标签；
规范化单元，被配置为通过变换网络对图像集合进行训练以获得规范化后的图像；以及
模型生成单元，被配置为基于规范化的图像来生成对象识别模型。


22.一种对象识别装置，其特征在于，包括：
待识别图像规范化单元，被配置为对待识别图像进行规范化以获得经规范化的待识别图像；以及
识别单元，被配置为将通过根据权利要求16-21中任一项所述的装置生成的对象识别模型应用于经...

【专利技术属性】
技术研发人员：黄耀海，彭健腾，邓伟洪，胡佳妮，
申请(专利权)人：佳能株式会社，北京邮电大学，
类型：发明
国别省市：日本;JP