用于基于多任务的人脸关键点检测的方法和系统技术方案

本申请公开一种用于检测人脸图像的人脸关键点的方法和系统。所述方法可以包括：从所述人脸图像的至少一个人脸区域和/或整个人脸图像中提取多个特征图；从所提取的多个特征图中生成共享的人脸特征向量；以及从所生成的共享的人脸特征向量中预测所述人脸图像的人脸关键点位置。通过本发明专利技术的方法和系统，所述人脸关键点检测能够与异构但微妙相关的任务一起优化，以便能够通过多任务学习来提高检测可靠性。

Method and system for face key point detection based on multi task

The invention discloses a method and a system for detecting a face key point of a face image. The method can include: from the face image at least one face region and / or the whole face image to extract multiple feature maps; generating feature vectors sharing from multiple feature maps extracted; and predicting the face of key points of face image from the face feature vector by sharing the generation of. Through the method and system of the present invention, the key point detection of the human face can be optimized together with the tasks of heterogeneous but delicate, so as to improve the reliability of detection through the multi task learning.

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及人脸对齐，确切地说，涉及用于人脸关键点(landmark)检测的方法和系统。
技术介绍
人脸关键点检测是很多人脸分析任务(诸如，人脸属性推断、人脸验证和人脸识别)的基本内容，但一直受到光遮蔽(occlusion)和姿势变化问题的阻碍。准确的人脸关键点检测可使用级联CNN(卷积神经网络)来执行，其中人脸被预先分区分成不同的部分，每个部分都由单独的深度CNN进行处理。得到的输出随后进行平均并且传输到单独的级联层，以分别处理每个人脸关键点。此外，人脸关键点检测不是独立问题，它的估计可受到很多异构但微妙关联的因素的影响。例如，当小孩在微笑时，他/她的嘴巴张开很大。有效地发现和利用此类内在关联的人脸属性将有助于更准确地检测嘴角。另外，在左右旋转较大的人脸中，两眼间的距离更小。这种姿势信息可用作附加信息来源，以约束关键点估计的解空间。在给定丰富的合理相关任务的集合的情况下，孤立地处理人脸关键点检测会适得其反。然而，不同任务在学习难点方面会固有地不同，并且具有不同的收敛速率。此外，在同时学习时某些任务可能比其他任务更早地过度拟合，从而将危害整个模型的学习收敛。
技术实现思路
在本申请的一方面，公开了用于检测人脸图像的人脸关键点的方法。所述方法可包括：从人脸图像的至少一个人脸区域中提取多个特征图；从所提取的多个特征图中生成共享的人脸特征向量；以及从所生成的共享的人脸特征向量中预测人脸图像的人脸关键点位置。在本申请的另一方面，公开了用于检测人脸图像的人脸关键点的系统。所述系统可包括特征提取器和预测器。特征提取器可从人脸图像的至少一个人脸区域中提取多个特征图，并且从所提取的多个特征图中生成共享的人脸特征向量。预测器可从由特征提取器生成的共享的人脸特征向量中预测人脸图像的人脸关键点位置。本申请还具有训练用于同时执行人脸关键点检测和至少一个相关联辅助任务的卷积特征网络的方法。所述方法可包括：1)从预定训练集中对训练人脸图像、其标定真实(ground-truth)关键点位置和其用于每个辅助任务的标定真实目标进行取样；2)比较所预测的人脸关键点位置与标定真实关键点位置之间的不同以生成关键点误差；3)分别比较目标预测与用于每个辅助任务的标定真实目标之间的不同，以生成至少一个训练任务误差；4)将所生成的关键点误差和所有的训练任务误差反向传播通过卷积神经网络，以调整卷积神经网络的神经元之间的连接的权重；5)从预定验证集中对验证人脸图像和其用于每个辅助任务的标定真实目标进行取样；6)比较目标预测与标定真实目标之间的不同，以生成验证任务误差；以及7)确定所生成的训练任务误差是否小于第一预定值并且所生成的验证任务误差是否小于第二预定值。如果是，结束训练卷积神经网络，否则，将重复步骤1)到7)。本申请还提供了一种计算机可读介质，该计算机可读介质用于存储指令，该指令可由一个或多个处理器执行以实施上述的方法。与现有方法相比，人脸关键点检测可与异构但微妙辅助的任务被一起优化，以便可通过多任务学习来提高检测可靠性，尤其是在处理具有显著光遮蔽和姿势变化的人脸的情况下。根据本申请，只使用一个单一CNN，因此，可降低所需的系统/装置的复杂性。既不需要人脸的预先分区也不需要级联卷积神经层，从而大大减小模型复杂性，而同时仍实现相当或甚至更好的准确性。随着训练的进行，某些相关任务在达到最佳性能时便不再对主任务有益，因此可停止对它们的训练过程。根据本申请，采用“提前停止(earlystopping)”执行CNN的训练过程，以停止那些因为开始过度拟合(over-fit)训练集而危害主任务的相关任务，以便促进学习收敛。附图说明下文参考附图描述本专利技术的示例性非限制实施例。附图是说明性的，并且一般不是实际的精确比例。不同图上的相同或类似元件引用相同的附图标号。图1是示出根据一些公开实施方式的用于人脸关键点检测的系统的示意图。图2是示出根据一些公开实施方式的如图1所示的训练单元的示意图。图3是示出根据一些公开实施方式的用于人脸关键点检测的系统的实例的示意图，其中示出卷积神经网络的实例。图4是示出根据一些公开实施方式的用于人脸关键点检测的系统在软件中执行时的示意图。图5是示出根据一些公开实施方式的用于人脸关键点检测的方法的示意流程图。图6是示出根据一些公开实施方式的多任务卷积神经网络的训练过程的示意流程图。具体实施方式本部分将详细说明示例性实施方式，这些实施方式的实例将在附图中示出。在适当的时候，附图中相同的附图标号始终表示相同或相似部分。图1是示出根据一些公开实施方式的用于人脸关键点检测的示例性系统1000的示意图。根据系统1000，人脸关键点检测(在下文中也称为主任务)与至少一个相关/辅助任务共同进行优化。人脸关键点检测指的是检测2D位置，即，人脸图像的人脸区域的2D坐标(x和y)。人脸关键点的实例可包括但不限于，人脸图像的左眼中心和右眼中心、鼻子、左嘴角和右嘴角。辅助任务的实例可包括但不限于，头部姿势估计、人口统计学(诸如，性别分类)、年龄估计、人脸表情识别(诸如，微笑)或者人脸属性推断(诸如，戴眼镜)。应了解，辅助任务的数量或类型不限于本文中提及的那些。再次参考图1，当系统1000由硬件实施时可包括特征提取器100、训练单元200和预测器300。特征提取器100可从人脸图像的至少一个人脸区域和/或整个人脸图像中提取多个特征图。随后，可由特征提取器100从所提取的多个特征图中生成共享的人脸特征向量。预测器300可从由特征提取器100提取的共享的人脸特征向量中预测人脸图像的人脸关键点位置。同时，预测器300可进一步从共享的人脸特征向量中预测与人脸关键点检测相关联的至少一个辅助任务的对应目标。根据系统1000，人脸关键点检测可与辅助任务共同进行优化。根据实施例，特征提取器100可包括卷积神经网络。该网络可包括多个卷积-池化层和全连接层。在网络中，多个卷积-池化层中的每个可执行卷积和最大池化操作，并且由卷积-池化层中的前一层提取的特征图输入到卷积池化层的下一层中，以提取与先前提取的特征图不同的特征图。全连接层可从所有的所提取的多个特征图中生成共享的人脸特征向量。图3中示出网络的实例，其中卷积神经网络包括输入层、多个(例如，三个)卷积-池化层、一个卷积层以及一个全连接层，其中卷积-池化层包括一个或多个(例如，三个)卷积层和一个或多个(例如，三个)池化层。应注意，所示网络是为了示例，并且特征提取器中的卷积神经网络不限于此。如图3所示，40×40(例如)灰度的人脸图像在输入层中输入。第一卷积-池化层从输入的图像中提取特征图。随后，第二卷积-池化层将第一层的输出作为输入，以生成不同的特征图。这一过程通过使用所有的三个卷积-池化层来继续。最后，特征图的多个层由全连接层用来生成共享的人脸特征向量。换言之，通过执行多次的卷积和最大池化操作来生成共享的人脸特征向量。每个层含有带局部或全局感受野的多个神经元，并且卷积神经网络的神经元之间的连接的权重可进行调整以相应地训练网络。根据实施方式，系统1000可还包括训练单元200。训练单元200可使用预定训练集来训练特征提取器，以调整卷积神经网络的神经元之间的连接的权重，从而使得所训练的特征提取器能够提取共享d人脸特征向本文档来自技高网...

【技术保护点】
一种用于检测人脸图像的人脸关键点的方法，包括：从所述人脸图像的至少一个人脸区域中提取多个特征图；从所提取的多个特征图中生成共享的人脸特征向量；以及从所生成的共享的人脸特征向量中预测所述人脸图像的人脸关键点位置。

【技术特征摘要】
【国外来华专利技术】1.一种用于检测人脸图像的人脸关键点的方法，包括：从所述人脸图像的至少一个人脸区域中提取多个特征图；从所提取的多个特征图中生成共享的人脸特征向量；以及从所生成的共享的人脸特征向量中预测所述人脸图像的人脸关键点位置。2.根据权利要求1所述的方法，其中所述人脸关键点包括选自由以下组成的组中的至少一个：人脸图像的双眼中心点、鼻子和嘴角。3.根据权利要求1所述的方法，其中在预测的步骤中，所述共享的人脸特征向量用来预测与所述人脸关键点检测相关联的至少一个辅助任务的对应目标，以同时获取所有的所述辅助任务的目标预测。4.根据权利要求3所述的方法，其中所述辅助任务包括选自由以下组成的组中的至少一个：头部姿势估计、性别分类、年龄估计、人脸表情识别或者人脸属性推断。5.根据权利要求4所述的方法，其中所述提取与所述生成的步骤由卷积神经网络执行，所述卷积神经网络包括被配置成执行卷积和最大池化操作的多个卷积-池化层，以及其中，所述提取的步骤还包括：由所述多个卷积-池化层连续地提取所述多个特征图，其中由所述卷积-池化层中的前一层提取的所述特征图输入到所述卷积-池化层的下一层，以提取与先前提取的特征图不同的特征图。6.根据权利要求5所述的方法，其中所述卷积神经网络还包括全连接层，并且在所述生成的步骤中，由所述全连接层从所有的所提取的多个特征图中生成所述共享人脸特征向量。7.根据权利要求6所述的方法，其中所述卷积神经网络的每个层具有多个神经元，以及其中所述方法还包括：使用预定训练集来训练所述卷积神经网络，以调整所述卷积神经网络的所述神经元之间的连接的每个权重，从而使得由具有经过调整的权重的卷积神经网络生成所述共享的人脸特征向量。8.根据权利要求7所述的方法，其中所述训练的步骤还包括：从所述预定训练集中对训练人脸图像、其标定真实关键点位置和其用于每个辅助任务的标定真实目标进行取样；比较所预测的人脸关键点位置与所述标定真实关键点位置之间的不同，以生成关键点误差；分别比较所述目标预测与用于每个辅助任务的标定真实目标之间的不同，以生成至少一个训练任务误差；以及将所生成的关键点误差和所生成的训练任务误差反向传播通过所述卷积神经网络，以调整所述卷积神经网络的所述神经元之间的连接的权重；重复所述取样、所述比较和所述反向传播的步骤，直到所述生成的关键点误差小于第一预定值并且所述生成的训练任务误差小于第二预定值。9.根据权利要求8所述的方法，其中比较以生成关键点误差根据最小二乘法处理来执行，并且比较以生成训练任务误差根据交叉熵处理来执行。10.根据权利要求8所述的方法，其中针对每个辅助任务，所述训练的步骤还包括：从预定验证集中对验证人脸图像以及其用于每个辅助任务的标定真实目标进行取样；比较所述目标检测与所述标定真实目标之间的不同，以生成验证任务误差；重复所述取样和所述比较，直到所述生成的训练任务误差小于第三预定值并且所生成的验证任务误差小于第四预定值。11.根据权利要求1所述的方法，其中在预测的步骤中，所述人脸图像的所述预测的人脸关键点位置根据(Wr)Txl来确定，其中Wr代表分配到所述人脸关键点检测的权重，并且xl代表所述共享的人脸特征矢量，以及T代表转置。12.一种用于检测人脸图像的人脸关键点的系统，包括：特征提取器，其被配置成：从所述人脸图...

【专利技术属性】
技术研发人员：汤晓鸥，张展鹏，罗平，吕健勤，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11