用于面部验证的方法和系统技术方案

公开了用于面部验证的方法和设备。该设备包括：特征提取单元，配置为通过使用不同训练的ConvNet对面部的不同区域提取HIF(隐藏身份特征)，其中，所述ConvNet的最末隐藏层神经元激活值被认为是HIF。该设备还包括：验证单元，配置为将从每个面部中提取的HIF组合以形成特征向量，然后比较所形成的特征向量中的两个特征向量以确定这两个特征向量是否来自相同身份。

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及用于面部验证的方法及其系统。
技术介绍
许多面部验证方法通过高维过完备面部描述符(例如，LBP或SIFT)来表示面部，然后使用浅层面部验证模型。在一些早先的研究中，基于低级特征进一步学习了与身份相关的特征。在这些过程中，训练了属性分类器和相似分类器，以检测面部属性以及测量相对于参照组的人的面部相似度、或区分两个不同人的面部。特征是经过学习的分类器的输出。但是，早先的研究使用SVM(SupportVectorMachine，支持向量机)分类器，SVM分类器是浅层结构的并且其学习的特征依然是相对低级的。一些深度模型已经被用于面部验证。Chopra等人使用Siamese架构分别从输入给两个相同子网络的两张待比较的人脸图像中提取特征，并将这两个子网络的输出人脸特征表示之间的距离作为这两张人脸图像的差异度。特征提取与面部验证目标一起被学习。虽然现有技术的一些技术方案使用多重深度ConvNet来学习高级面部相似度特征并训练分类器以用于面部验证，但是它们的特征是从一对面部中一起提取而不是从单个面部提取。虽然具有高度的可区分性，但是面部相似度特征依然太短并且一些有用信息可能在最终验证之前已经丢失。一些早先的研究也将ConvNet的最末隐藏层特征用于其它任务。Krizhevsky等人指出，当以图像分类为学习目标时，ConvNet的最末隐藏层近似于语义空间中的欧氏距离，但是并没有定量结果来显示这些特征在图像检索上表现得怎样。Farabet等人将从尺寸不变的ConvNet(具有用于景物标记的多尺寸输入)中提取的最末隐藏层特征组合。早先的方法未解决面部验证问题。此外，如何学习足以用于面部识别的精细分类的特征也是不清楚的。
技术实现思路
在本申请的一方面中，公开了用于面部验证的设备，其包括：特征提取单元，配置为通过使用不同训练的ConvNet提取面部的不同区域的HIF(HiddenIdentityFeature，隐藏身份特征)，其中，所述ConvNet的最末隐藏层神经元激活值被认为是所述HIF；以及验证单元，配置为将从每个所述面部中提取的HIF组合以形成特征向量，然后比较所形成的特征向量中的两个特征向量以确定所述两个特征向量是否来自相同身份。在本申请的另一方面中，公开了用于面部验证的方法，其包括：通过使用不同训练的ConvNet从面部的不同区域提取HIF，其中，所述ConvNet的最末隐藏层神经元激活值被认为是HIF；将所提取的HIF组合以形成特征向量；以及比较所形成的特征向量中的两个特征向量以确定这两个特征向量是否来自相同身份。根据本申请的设备还可包括训练单元，该训练单元配置为通过输入面部的对齐区域来训练ConvNet以用于身份分类。与现有方法对比，本申请对训练集中的所有人脸身份进行分类。此外，本申请利用最末隐藏层激活值而非利用分类器的输出作为特征表示。在ConvNet中，最末隐藏层的神经元数量远小于输出的神经元数量，这使得为了很好地将不同人的面部进行分类，最末隐藏层能够学习不同人的面部的、共享的隐藏特征表示，从而得到高识别性能且紧凑的特征表示。本申请可在两个步骤中执行特征提取和识别，其中，第一特征提取步骤使用面部分类目标进行学习，该面部分类目标是比验证更强的监督信号。本申请使用高层次的高级特征来用于面部验证。从不同面部区域提取的HIF是互补的。具体地，特征从深度ConvNet的最末隐藏层中提取，该特征是全局的、高度非线性的特征并揭示面部身份。此外，不同的ConvNet从不同视觉线索(面部区域)进行学习，因此它们必须使用不同的方式判断面部身份，因此HIF是互补的。附图说明下文中参照附图对本专利技术的示例性非限制实施方式进行描述。附图是说明性的并且通常不表示精确尺寸。不同附图上的相同或相似的元件使用相同的附图标记表示。图1是示出了根据一些公开的实施方式的用于面部验证的设备的示意图。图2是示出了根据一些公开的实施方式的通过软件实施的用于面部验证的设备的示意图。图3是示出了根据第一公开实施方式的剪裁区域的示例的示意图。图4是示出了根据第二公开实施方式的ConvNet的详细结构的示意图。图5是示出了用于面部验证的神经网络的结构的示意图。层类型和维度标记在每个层的旁边。标记为实心的神经元形成子网络。图6是示出了根据一些公开实施方式的面部验证的示意性流程图。图7是示出了图6中所示的步骤S103的示意性流程图。图8是示出了根据一些公开实施方式的ConvNet的训练过程的示意性流程图。具体实施方式现在将详细参照示例性实施方式，在附图中示出了示例性实施方式的示例。在恰当的情况下，在全部附图中，相同的附图标记用于表示相同或相似的部件。图1是示出了根据一些公开实施方式的用于面部验证的示例性设备1000的示意图。应理解的是，设备1000可使用特定硬件、软件或者硬件与软件的组合实现。此外，本专利技术的实施方式可改造为实现于包含计算机程序代码的一个或多个计算机可读储存介质(包括但不限于磁盘储存器、CD-ROM、光存储器等)上的计算机程序产品。在使用软件实现设备1000的情况下，设备1000可包括通用计算机、计算机群、主流计算机、专用于提供在线内容的计算机装置、或包括以集中方式或分布方式运行的一组计算机的计算机网络。如图2中所示，设备1000可包括一个或多个处理器(处理器102、104、106等)、存储器112、储存装置116、通信接口114以及便于在设备1000的各种部件之间交换信息的总线。处理器102-106可包括中央处理单元(“CPU”)、图形处理单元(“GPU”)或其它合适的信息处理装置。根据所使用的硬件的类型，处理器102-106可包括一个或多个印刷电路板、和/或一个或多个微处理器芯片。处理器102-106可运行计算机程序指令序列以执行将在下文更为详细地解释的各种方法。存储器112还可包括随机存取存储器(“RAM”)和只读存储器(“ROM”)。计算机程序指令可存储在存储器112中、从存储器112中被访问和读取，从而供处理器102-106中的一个或多个处理器来运行。例如，存储器112可存储一个或多个软件应用。此外，存储器112可存储全部软件应用或仅存储软件应用中可由处理器102-106中的一个或多个处理器执行的部分。应注意到的是，虽然图1中仅示出了用一个框表示存储器，但是存储器112可包括安装在中央计算装置上或安装在不同计算装置上的多个实体装置。再次参照图1，当设备1000通过硬件实现时，其可包括特征提取单元10和验证单元20。特征提取单元10配置为通过使用不同训练的ConvNet从面部的不同区域提取HIF(HiddenIdentityFeature，隐藏身份特征)，其中ConvNet的最末隐藏层神经元激活值被认为是HIF。验证单元20配置为将所提取的HIF组合以形成特征向量，然后比较所形成的向量中的两个向量以确定这两个向量是否来自相同身份。对于ConvNet中的每个，特征提取单元10操作为将特定区域及其翻转对应区域输入至ConvNet中的每个以提取HIF。图3示出了剪裁区域的示例，其中，上方的10个面部区域是中等尺寸的。左上方的五个区域是从弱对齐面部中得到的全局区域，右上方的其它五个区域是以五个面部标记物(两个眼睛中心、鼻尖、以本文档来自技高网...

【技术保护点】
用于面部验证的设备，包括：特征提取单元，配置为通过使用不同训练的ConvNet提取面部的不同区域的HIF(隐藏身份特征)，其中，所述ConvNet的最末隐藏层神经元激活值被认为是所述HIF；以及验证单元，配置为将从每个所述面部中提取的HIF组合以形成特征向量，然后比较所形成的特征向量中的两个特征向量以确定所述两个特征向量是否来自相同身份。

【技术特征摘要】
【国外来华专利技术】1.用于面部验证的设备，包括：特征提取单元，配置为通过使用不同训练的ConvNet提取面部的不同区域的HIF(隐藏身份特征)，其中，所述ConvNet的最末隐藏层神经元激活值被认为是所述HIF；以及验证单元，配置为将从每个所述面部中提取的HIF组合以形成特征向量，然后比较所形成的特征向量中的两个特征向量以确定所述两个特征向量是否来自相同身份。2.根据权利要求1所述的设备，还包括：训练单元，配置为通过输入面部的对齐区域来训练所述ConvNet以用于身份分类。3.根据权利要求1所述的设备，其中，所述验证单元包括：输入层，配置为将所述HIF分成多个组，每个组包括由同一ConvNet提取的HIF；局部连接层，配置为从每组HIF提取局部特征；全连接层，配置为从先前提取的局部特征提取全局特征；以及输出神经元，配置为从所提取的全局特征计算单个面部相似度分数，以基于所计算的分数确定所述两个特征向量是否来自相同身份。4.根据权利要求1所述的设备，其中，对于所述ConvNet中的每个，所述特征提取单元配置为将特定区域及其翻转对应区域输入至每个所述ConvNet中以提取所述HIF。5.根据权利要求4所述的设备，其中，所述验证单元配置为将从每个面部提取的全部HIF组合以形成用于面部验证的特征向量。6.根据权利要求2所述的设备，其中，所述ConvNet中的每个包括多个级联的特征提取层和连接至所述特征提取层中的至少一个的最末隐藏层；其中，在所述ConvNet的当前层中的特征数量沿所述级联的特征提取层持续减少直到在所述ConvNet的最末隐藏层中获得所述HIF，其中，所述ConvNet的当前层中的特征是从所述ConvNet的上一层特征提取的。7.根据权利要求6所述的设备，其中，所述ConvNet中的每个包括四个级联的特征提取层以及连接至第三特征提取层和第四特征提取层的所述最末隐藏层。8.根据权利要求2所述的设备，其中，对于所述ConvNet中的每个，所述训练单元还配置为：1)从预定的面部训练集中选择面部图像；2)为所述ConvNet分别确定输入和目标输出，其中，所述输入为从所选择的面部图像剪裁出的面部图像块，以及所述目标输出为第n位置为1而其余位置都为零的向量，n为所选择的面部图像的身份序号；3)将所述面部图像块输入至所述ConvNet以在所述ConvNet中通过正向传播计算输出；4)将所计算的输出与所述目标输出作比较以生成误差信号；5)将所生成的误差信号反向传播通过所...

【专利技术属性】
技术研发人员：汤晓鸥，孙祎，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11