用于面部验证的方法和系统技术方案

公开了用于面部验证的设备。该设备可包括特征提取单元和验证单元。在一个实施方式中，特征提取单元包括使用不同的面部训练集训练的多个卷积特征提取系统，其中，系统中的每个包括：多个级联的卷积特征提取单元、池化特征提取单元、局部连接特征提取单元和全连接特征提取单元，这些特征提取单元配置为从面部图像的面部区域中提取用于面部验证的面部特征；其中，在本申请的一个实施方式中可以是全连接单元的单元层级的输出单元连接至先前的卷积单元、池化单元、局部连接单元或全连接单元中的至少一个并且配置为在所连接的单元中从面部特征中提取用于面部验证的面部特征(称作深度识别‑验证特征或DeepID2)。验证单元可配置为比较从待比较的两个面部图像提取的所获得的DeepID2，从而确定这两个面部图像是否来自同一身份。

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及用于面部验证的方法及其系统。
技术介绍
早期的子空间面部识别方法(诸如LDA和贝叶斯面部)减小了由于姿势、照明条件、表情、年龄和遮挡情况而引起的在同一人中的变化，同时扩大了人与人之间的变化。例如，LDA通过使用两个线性子空间对人与人之间的面部变化和同一人的面部变化作近似，以及得到最大化这两者之间的比例的投影方向。更近期的研究也已明确地或隐含地瞄准了相同目标。例如，提出了距离学习(metriclearning)以将面部图像映射到一些特征表示上，以使得同一身份的面部图像彼此靠近而不同身份的面部图像保持分开。但是，这些模型非常受限于它们的线性本质或浅层结构，而人与人之间的变化和同一人内的变化是复杂的、高度非线性的以及是在高维度图像空间中被观察的。近年来，大量的努力被用来通过深度模型使用识别监督信号或验证监督信号学习用于面部识别的有效特征。使用识别信号学习的特征已经在LFW上获得了大约97.45％的准确度。连同地解决分类任务和验证任务的思想被应用到一般物体识别中，其集中于改善对于固定的物体种类而非隐藏特征表示的分类准确度。
技术实现思路
在本申请的一方面中公开了用于面部验证的设备。该设备可包括特征提取单元和验证单元。在一个实施方式中，特征提取单元包括通过使用不同的面部训练集而训练出的多个卷积特征提取系统，其中，系统中的每个包括：多个级联的卷积特征提取单元、池化特征提取单元、局部连接特征提取单元和全连接特征提取单元，这些特征提取单元配置为从面部图像的面部区域中提取用于面部验证的面部特征；其中，在本申请的一个实施方式中可以是全连接单元的单元层级中的输出单元连接至先前的卷积单元、池化单元、局部连接单元或全连接单元中的至少一个并且配置为从所连接的单元中的面部特征中提取用于面部验证的面部特征(称作深度识别-验证特征或DeepID2)。验证单元可配置为比较从待比较的两个面部图像提取的所获得的DeepID2，从而确定这两个面部图像是否来自同一身份。在本申请的另一方面中公开了用于面部验证的方法。该方法可包括：通过使用不同训练的卷积特征提取系统从面部图像的不同区域提取DeepID2的步骤，以及比较分别从待比较的两个面部图像提取的DeepID2以确定这两个面部图像是否来自同一身份的步骤，其中，所述卷积特征提取系统的输出层的神经元激活值被认为是DeepID2。根据本申请，上述设备还可包括训练单元，该训练单元配置为通过输入成对的对准面部区域以及同时将识别监督信号和验证监督信号添加至卷积特征提取系统来训练用于同时身份分类和身份验证的多个卷积特征提取系统。根据本申请，还具有用于训练卷积特征提取系统的方法，该方法包括：1)从预定训练集采样两个面部区域-标签对；2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；3)将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中；4)将经过分类的身份与给定参考身份进行比较从而生成识别误差；5)将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；6)将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取系统，从而调节卷积特征提取系统的神经元之间的连接权重；以及7)重复步骤1)-6)直至训练过程收敛，从而确定卷积特征提取系统的神经元之间的连接权重。根据本申请，还具有用于训练卷积特征系统的系统，该系统包括：从预定训练集采样两个面部区域-标签对的装置；分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2的装置；将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中的装置；将经过分类的身份与给定参考身份进行比较从而生成识别误差的装置；将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差的装置；将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取系统从而调节卷积特征提取系统的神经元之间的连接权重的装置；以及重复以上步骤直至训练过程收敛从而确定卷积特征提取系统的神经元之间的连接权重的装置。根据本申请，还提供了计算机可读介质，该计算机可读介质用于存储可由一个或多个处理器运行从而执行以下操作的指令：1)从预定训练集采样两个面部区域-标签对；2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；3)将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中；4)将经过分类的身份与给定参考身份进行比较从而生成识别误差；5)将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；6)将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取系统，从而调节卷积特征提取系统的神经元之间的连接权重；以及7)重复步骤1)-6)直至训练过程收敛，从而确定卷积特征提取系统的神经元之间的连接权重。与现有方法对比，本申请使用深度卷积特征提取系统处理人与人之间的面部变化和同一人的面部变化，该深度卷积特征提取系统由于其深度架构和强大的学习能力，可通过分层非线性映射来学习有效的用于面部识别的DeepID2。本申请通过同时使用两个监督信号(即，面部识别信号和面部验证信号)来学习DeepID2。面部识别信号通过将从不同身份提取的DeepID2分开而增加人与人之间的变化，而面部验证信号通过将从同一身份提取的DeepID2聚拢而减小同一人内的变化，这两种信号对于面部识别都至关重要。本申请通过从多种面部区域和分辨率提取互补的DeepID2而从不同的方面表征面部，这些表征随后被组合从而在PCA降维处理后形成最终面部表示。学习的DeepID2在以下方面优于通过现有方法学习的特征：学习的DeepID2在不同身份之间分化而在同一身份之内保持一致，从而使得以下面部识别变得更容易。附图说明下文中参照附图对本专利技术的示例性非限制实施方式进行描述。附图是说明性的并且通常不表示精确尺寸。不同附图上的相同或相似的元件使用相同的附图标记表示。图1是示出了根据一些公开的实施方式的用于面部验证的设备的示意图。图2是示出了根据一些公开的实施方式的用于面部验证的设备在用软件实施时的示意图。图3是示出了根据第一公开实施方式的一组选择的面部区域的示意图，其中，DeepID2从这组选择的面部区域中被提取。图4是示出了根据第二公开实施方式的卷积特征提取系统的具体结构的示意图。图5是示出了被添加至卷积特征提取系统的输出层中的DeepID2的识别监督信号和验证监督信号的示意图。图6是示出了根据一些公开的实施方式的面部验证的示意性流程图。图7是示出了根据一些公开的实施方式的用于提取DeepID2的深度卷积特征提取系统的训练过程的示意性流程图。图8是示出了根据一些公开的实施方式的如图1所示的训练单元的示意图。具体实施方式现在将详细参照示例性实施方式，其中在附图中示出了这些示例性实施方式的示例。在恰当的情况下，在全部附图中使用相同的附图标记表示相同或相似的部件。图1是示出了根据一些公开的实施方式的用于面部验证的示例性设备1000的示意图。应理解的是，设备1000可使用特定硬件、软件或者硬件与软件的组合实现。此外，本专利技术的实施方式可改造为本文档来自技高网...

【技术保护点】
用于面部验证的设备，包括：特征提取单元，包括经过使用不同的面部训练集而训练出的多个卷积特征提取系统，其中，所述系统中的每个包括：层级联，包括多个卷积层、多个池化层、多个局部连接层和多个全连接层，其中所述层级联的输出层连接至先前的卷积层、池化层、局部连接层或全连接层中的至少一个并且配置为从所连接的层中的面部特征中提取面部特征以作为用于面部验证的DeepID2；以及验证单元，配置为比较通过所述输出层从待比较的两个面部图像提取的所述面部特征，以确定所述两个面部图像是否来自同一身份。

【技术特征摘要】
【国外来华专利技术】1.用于面部验证的设备，包括：特征提取单元，包括经过使用不同的面部训练集而训练出的多个卷积特征提取系统，其中，所述系统中的每个包括：层级联，包括多个卷积层、多个池化层、多个局部连接层和多个全连接层，其中所述层级联的输出层连接至先前的卷积层、池化层、局部连接层或全连接层中的至少一个并且配置为从所连接的层中的面部特征中提取面部特征以作为用于面部验证的DeepID2；以及验证单元，配置为比较通过所述输出层从待比较的两个面部图像提取的所述面部特征，以确定所述两个面部图像是否来自同一身份。2.根据权利要求1所述的设备，其中，所述输出层包括所述全连接层。3.根据权利要求1所述的设备，还包括：训练单元，配置为将成对的面部图像、识别监督信号和验证监督信号输入至所述卷积特征提取系统，以调节所述卷积特征提取系统的神经元之间的连接权重。4.根据权利要求3所述的设备，其中，用于输出DeepID2的层之后跟随n路softmax层以用于将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；以及其中，所述训练单元包括识别器，所述识别器配置为将经过分类的身份与给定参考身份进行比较以生成识别误差，所生成的识别误差反向传播通过所述卷积特征提取系统，从而调节所述卷积特征提取系统的神经元之间的连接权重。5.根据权利要求3所述的设备，其中，所述训练单元包括验证器，所述验证器配置为通过将分别从两个面部区域提取的两个DeepID2矢量之间的相异性进行比较以生成验证误差，其中，所生成的验证误差反向传播通过所述卷积特征提取系统，从而调节所述卷积特征提取系统的神经元之间的连接权重。6.根据权利要求3所述的设备，其中，对于所述卷积特征提取系统中的每个，所述训练单元和所述系统中的每个协作以执行以下操作：1)从预定训练集采样两个面部区域-标签对；2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；3)基于从所述两个面部区域提取的DeepID2生成识别误差和验证误差；4)将所述识别误差和所述验证误差反向传播通过所述卷积特征提取系统，从而调节所述卷积特征提取系统的神经元之间的连接权重；以及5)重复步骤1)-4)直至训练过程收敛，从而确定所述卷积特征提取系统的神经元之间的连接权重。7.根据权利要求1所述的设备，其中，所述验证单元包括：特征选择单元，配置为从所提取的DeepID2中选择一组或多组DeepID2，每组DeepID2包括从每个面部图像的多个面部区域提取的DeepID2；比较单元，配置为比较所选择的一组或多组DeepID2以输出一个或多个面部验证分数；以及融合单元，配置为融合所述一个或多个面部验证分数从而作出单个面部验证判定。8.根据权利要求1所述的设备，其中，所述卷积特征提取层中的每个在所述卷积特征提取层中的所述神经元或所述神经元的子集中包含具有局部接收域并共享连接权重的多个神经元。9.根据权利要求5所述的设备，其中，两个DeepID2矢量之间的所述相异性包括L1范数的负数、L2范数或者所述两个DeepID2矢量之间的余弦相似性。10.用于面部验证的方法，包括：通过使用不同地训练出的卷积特征提取系统从面部图像的不同区域提取DeepID2，其中，所述系统中的每个包括层级联，所述层级联包括多个卷积层、多个池化层、多个局部连接层和多个全连接层，其中所述层级联的输出层连接至先前的卷积层、池化层、局部连接层或全连接层中的至少一个，并且配置为从所连接的层中的面部特征中提取面部特征以作为用于面部验证的DeepID2；以及比较分别从待比较的两个面部图像提取的DeepID2，以确定所述两个面部图像是...

【专利技术属性】
技术研发人员：汤晓鸥，孙祎，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11