训练用于人脸识别的图像处理装置的方法和装置制造方法及图纸

本公开涉及训练用于人脸识别的图像处理装置的方法和装置以及相应的图像处理装置。根据本公开的方法包括以下步骤：使用第一二维人脸图像生成多对训练图像；基于多对训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型；以及将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于全局特征向量和标识训练联合贝叶斯模型，其中图像处理装置的人脸识别基于经训练的卷积神经网络模型和联合贝叶斯模型。根据本公开的技术，可以在不需要大量的带有标签的训练图像的情况下进行用于人脸识别的图像处理装置的训练。

【技术实现步骤摘要】
训练用于人脸识别的图像处理装置的方法和装置
本公开涉及训练用于人脸识别的图像处理装置的方法和装置以及相应的图像处理装置。
技术介绍
近年来，基于卷积神经网络(CNN)模型的深度学习方法的发展以及具有大量的带有标签的人脸图像的大规模数据库的构造使得人脸识别的性能得到极大的飞跃，甚至已超过人类的识别能力。然而，现有技术的方法需要大量的带有标识的人脸图像进行CNN模型的训练，而收集和标注这些人脸图像需要耗费大量的时间和精力。
技术实现思路
在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本公开的目的在于提供训练用于人脸识别的图像处理装置的方法和装置，利用根据本公开的装置和方法进行训练，能够在仅有少量人脸图像甚至一个人脸图像作为训练数据的情况下对用于人脸识别的图像处理装置进行训练。根据本公开的装置和方法训练的图像处理装置至少能够达到与现有技术相当的识别准确度，然而所需的代价极大地降低。为了实现本公开的目的，根据本公开的一个方面，提供了训练用于人脸识别的图像处理装置的方法，包括以下步骤：使用第一二维人脸图像生成多对训练图像；基于多对训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型；以及将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于全局特征向量和标识训练联合贝叶斯模型，其中图像处理装置的人脸识别基于经训练的卷积神经网络模型和联合贝叶斯模型。根据本公开的另一方面，提供了一种训练用于人脸识别的图像处理装置的装置，包括：生成单元，被配置成使用第一二维人脸图像生成多个训练图像对；第一训练单元，被配置成基于多个训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型；以及第二训练单元，被配置成将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于全局特征向量和标识训练联合贝叶斯模型，其中图像处理装置的人脸识别基于经训练的卷积神经网络模型和联合贝叶斯模型。根据本公开的另一方面，还提供了一种通过根据本公开的装置和方法进行训练而获得的用于人脸识别图像处理装置。根据本公开的另一方面，还提供了能够实现上述方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。通过根据本公开的训练技术训练的图像处理装置，至少可以实现与现有技术相当的人脸识别的准确度。然而，较之现有技术，该图像处理装置的训练代价是小的，并且训练速度是高的。附图说明参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：图1是示出根据本公开的实施例的对用于人脸识别的图像处理装置进行训练的方法的流程图；图2是示出根据本公开的实施例的用于生成多对训练图像的方法的流程图；图3是示出世界坐标系、图像坐标系和相机坐标系之间的关系的示意图；图4是示出了根据本公开的实施例的对用于人脸识别的图像处理装置进行训练的装置的框图；以及图5是示出可用来实现根据本公开的实施例的方法和装置的通用机器的结构简图。具体实施方式在下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。根据本公开的对用于人脸识别的图像处理装置进行训练的技术基于如下思想。人脸识别的问题可以归结为将新的二维人脸图像与已知的二维人脸图像进行比较以判断是否是同一个人的人脸图像。为了解决上述问题，根据本公开的技术，可以训练卷积神经网络来对人脸图像中的特征进行提取，并且基于经训练的卷积神经网络来训练联合贝叶斯模型以进行人脸图像的比较，即分类。然而，为了使卷积神经网络的训练更为充分，需要收集和标注大量的二维人脸图像，而这需要耗费大量的时间和精力。因此，根据本公开的技术提出了利用少量的甚至一个二维人脸图像生成训练图像来对卷积神经网络进行训练的方法。根据本公开的方法，通过简单地将二维人脸图像投影(还可以被称为“冲压”)到通用三维人脸模型上，并且随后对投影有该二维人脸图像的三维人脸模型进行旋转和镜像操作，可以生成可供卷积神经网络训练使用的新的二维人脸图像。随后，通过经训练的CNN模型使用具有标识的人脸图像对联合贝叶斯模型进行训练，所得到的经训练的CNN模型和联合贝叶斯模型可以作为用于人脸识别的图像处理模型应用于工程应用。下面参照附图对根据本公开的对用于人脸识别的图像处理装置进行训练的技术进行详细描述。图1是示出根据本公开的实施例的对用于人脸识别的图像处理装置进行训练的方法100的流程图。图1的方法100开始于步骤S101。在步骤S102中，使用第一二维人脸图像生成多对训练图像。接着，在步骤S103中，基于多对训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型。接着，在步骤S104中，将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于全局特征向量和标识训练联合贝叶斯模型。最后，方法100结束于步骤S105。应注意，涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。本文中的“第一二维人脸图像”表示用于生成对CNN模型进行训练的多对训练图像的二维人脸图像，而“第二二维人脸图像”表示被输入到经训练的CNN模型以获得全局特征向量从而对联合贝叶斯模型进行训练的具有标识的二维人脸图像。下面将对方法100的步骤S102至S105的操作进行更详细的描述。根据本公开的实施例，方法100的步骤S102可以通过根据本公开的实施例的用于生成多对训练图像的方法来实现。图2是示出根据本公开的实施例的用于生成多对训练图像的方法200的流程图。通过方法200，可以通过少量的甚至一个二维人脸图像生成多对训练图像来对CNN模型进行训练。如图2中所示，方法200开始于步骤S201。在步骤S202中，检测第一二维人脸图像中的特征点。步骤S202中进行的处理的目的在于建立第一二维人脸图像与三维人脸模型之间的空间对应关系，以确定第一二维人脸图像中的像素的深度信息，从而生成新的用于训练的二维人脸图像。这里使用的三维人脸模型可以是通用三维人脸模型，例如贝塞尔人脸模型。此外，根据本公开的实施例，第一二维人脸图像中的特征点可以是对应于人脸中的下颚、左脸颊、右脸颊、眉毛、鼻子、耳朵等的特征点。步骤S202中检测特征点的处理可以通过本领域的已知方法进行，因而这里不做进一步的详细描述。应当注意，特征点的数目没有限制。较多的特征点有利于实现本文档来自技高网...

【技术保护点】
1.一种训练用于人脸识别的图像处理装置的方法，包括以下步骤：使用第一二维人脸图像生成多对训练图像；基于所述多对训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型；以及将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于所述全局特征向量和所述标识训练联合贝叶斯模型；其中所述图像处理装置的人脸识别基于经训练的所述卷积神经网络模型和所述联合贝叶斯模型。

【技术特征摘要】
1.一种训练用于人脸识别的图像处理装置的方法，包括以下步骤：使用第一二维人脸图像生成多对训练图像；基于所述多对训练图像对中的每对训练图像，训练与该对训练图像对应的卷积神经网络模型；以及将具有标识的第二二维人脸图像输入到各个卷积神经网络模型中以获得全局特征向量，并且基于所述全局特征向量和所述标识训练联合贝叶斯模型；其中所述图像处理装置的人脸识别基于经训练的所述卷积神经网络模型和所述联合贝叶斯模型。2.根据权利要求1所述的方法，其中，使用第一二维人脸图像生成多对训练图像的步骤包括：检测所述第一二维人脸图像中的特征点；基于检测到的特征点确定拍摄所述第一二维人脸图像的相机的姿态以将所述第一二维人脸图像投影到所述三维人脸模型上；通过使所述三维人脸模型旋转来生成新的二维人脸图像；以及通过对所述第一二维人脸图像和所述新的二维人脸图像进行镜像操作来生成多对训练图像。3.根据权利要求2所述的方法，其中，所述特征点包括对应于人脸中的下颚、左脸颊、右脸颊、眉毛、鼻子、耳朵中至少之一的特征点。4.根据权利要求2所述的方法，其中，基于检测到的特征点确定拍摄所述第一二维人脸图像的相机的姿态以将所述第一二维人脸图像投影到所述三维人脸模型上的步骤包括：确定所述三维人脸模型中的与检测到的所述第一二维人脸图像中的特征点对应的特征点；基于检测到的所述三维人脸模型中的特征点和检测到的所述第一二维人脸图像中的特征点获得所述相机的姿态；以及基于所述相机的姿态将所述第一二维人脸图像投影到所述三维人脸模型上。5.根据权利要求4所述的方法，其中，基于所述相机的姿态将所述第一二维人脸图像投影到所述三维人脸模型上的步骤包括：确定包含检测到的所述第一...

【专利技术属性】
技术研发人员：缪倩文，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP