用于面部识别的方法和系统技术方案

公开了一种用于面部识别的设备，包括：特征提取单元，用于利用多个深度特征提取层次结构从输入面部图像提取特征；以及识别单元，用于计算所述提取器从不同面部图像提取的面部特征之间的距离，以在面部验证时确定两个面部图像是否来自同一身份，或在面部识别时确定所述输入图像中作为测试面部图像的一个输入图像与由所述输入图像组成的训练面部图像集中的一个训练面部图像是否属于同一身份；其中，每个所述深度特征提取层次结构包括多个级联的卷积层、局部连接层、池化层和全连接层，以及所述全连接层中的神经元仅连接到其前一层中的神经元的一部分，而所述卷积层和所述局部连接层中的神经元仅连接到其前一层中的局部区中的神经元的一部分。

Method and system for face recognition

A facial recognition device is disclosed, including a feature extraction unit for extracting features from an input facial image using a plurality of depth feature extraction hierarchies, and a recognition unit for calculating the distance between the facial features extracted by the extractor from different facial images to determine two during facial verification. Whether each facial image comes from the same identity or whether the input image as an input image for testing the facial image belongs to the same identity as a training facial image set consisting of the input image and a training facial image set consisting of the input image is determined at the time of facial recognition; where each depth feature extraction hierarchy structure There are a plurality of cascaded convolution layers, local junction layers, pooling layers and full junction layers, and neurons in the full junction layer are only connected to a part of the neurons in the preceding layer, while neurons in the convolution layer and the local junction layer are only connected to a part of the neurons in the local area in the preceding layer.

【技术实现步骤摘要】
【国外来华专利技术】用于面部识别的方法和系统
本申请涉及一种用于面部识别的方法及其系统。
技术介绍
深度神经网络中的参数个数受到训练数据量的限制，而权值稀疏化算法有助于减少模型参数且改进深度模型的通用化能力。在设计GoogLeNet时已经采取了减少神经元连接的想法，这在面对ImageNet中存在的挑战时获得了巨大成功。GoogLeNet通过使用大小为1×1、3×3和5×5的极小卷积核而减少了神经元连接。根据“神经元捆绕在一起(neuronsthatfiretogetherwiretogether)”的Hebbian规则的建议，强相关神经元之间的连接比弱相关神经元之间的连接重要。此外，前一层中与当前层中的给定神经元较相关(正或负)的神经元对于预测当前层中的给定神经元的活动较有帮助。LeCun等人在其开创性文章“最佳脑损伤(OptimalBrainDamage)”中研究了移除深度神经网络中的不重要的参数。他们采取了二阶导数相关准则(secondderivative-relatedcriterion)来移除参数。在不损失原始模型的预测能力的情况下，他们将模型参数减少了八倍。
技术实现思路
在本申请的一个方面中公开了一种用于面部识别的设备。该设备可包括：提取器，其具有拥有稀疏化神经元连接的多个深度神经网络，以从面部图像的多个面部区提取面部特征用于面部识别；以及识别器，与提取器电通信且基于所提取的面部特征来识别输入面部图像的面部身份。根据“神经元捆绕在一起”的Hebbian规则，与强相关神经元之间的神经元连接相比，裁剪掉更多的、弱相关神经元之间的神经元连接，其中两个连接的神经元之间的相关性由其神经激活之间的相关性的量值界定。在本申请的一个实施例中，首先训练基线(baseline)深度神经网络，且接着从最后一层向前一层逐层裁剪神经元连接，每次仅对一个额外层进行稀疏化且再训练整个模型。先前训练的模型用于计算神经相关性且初始化后续较稀疏模型。在本申请的一个实施例中，基线深度神经网络相似于VGG网，其中每两个卷积层跟随在一个最大池化层之后。它们之间的一个主要差异是，最后两个卷积层被两个局部连接层替换。该实施例的目标是学习不同面部区中的不同特征，这是因为面部是结构化对象，且局部连接增加了模型适配能力。第二局部连接层之后跟随的是多维全连接层。全连接层中的特征表示(featurerepresentation)用于后继面部识别。在本申请的一个实施例中，从最后一个全连接层向前一局部连接和卷积层以逐层方式删除基线模型中的连接。假设N0表示良好训练基线模型，当层Lm稀疏化时，新模型Nm由其前一模型Nm-1再训练、初始化。因此，训练出具有越来越少连接的模型序列{N1,…,NM}，且NM是获得的最终稀疏ConvNet。在整个训练过程期间，先前学习的模型用于计算神经相关性且引导连接中断程序。由较致密模型NM-1学习到的权值也可作为待进一步训练的较稀疏模型Nm的良好初始权值。在一些实施例中，训练器可与提取器电通信，以在训练期间向深度神经网络添加监督信号以学习卷积层、局部连接层和全连接层中的稀疏结构，并调整这些层中的神经权值。在本申请的一个实施例中，将联合识别-验证监督信号添加到最后一个全连接层。同一监督信号还添加到若干先前层以增强先前特征学习阶段中的监督。监督信号包括一个识别监督信号和一个验证监督信号，其中，通过将在任意层中从输入面部区提取的特征分类为训练数据集中的N个身份中的一个身份、且将分类误差作为监督信号而生成识别监督信号，以及通过将在任意层中分别从两个输入面部图像提取的特征进行比较，以确定其是否来自同一人且将验证误差作为监督信号而生成验证监督信号。交替地且迭代地更新神经权值和神经元连接。首先，在固定神经元连接的同时，通过将监督信号反向传播通过深度神经网络而调整神经权值。这些监督信号聚合(aggregated)以在训练期间调整卷积层、局部连接层和全连接层中的每个的神经权值。接着，在固定神经权值的同时根据连接的神经元的神经激活之间的相关性裁剪神经元连接。大部分弱相关神经元被裁剪掉。在给出较稀疏深度模型的情况下，再次通过固定神经元连接更新神经权值等。在本申请的另一方面中公开了一种用于面部识别的方法，包括：配置多个深度特征提取层次结构(hierarchy)，使得每个深度特征提取层次结构包括多个级联卷积层、局部连接层、池化层和全连接层，且全连接层中的神经元仅连接到其前一层中的神经元的一部分，而卷积层和局部连接层中的神经元仅连接到其前一层中的局部区中的神经元的一部分；训练所配置的深度特征提取层次结构，以学习卷积层、局部连接层和全连接层中的神经元连接，且调整这些层中的神经权值；通过经训练的深度特征提取层次结构从输入面部图像提取特征；以及基于所提取的面部特征来识别输入面部图像的面部身份。附图说明下文参照附图来描述本专利技术的示范性非限制性实施方式。附图是说明性的且通常未按确切比例绘制，并且用相同附图标号来表示不同图上的相同或相似元件。图1是示出了根据一些公开的实施方式的、用于面部识别的设备的示意图。图2是示出了根据一些公开的实施方式的、用于面部识别的设备以软件方式实施时的示意图。图3示出了如图1所示的提取器中的、具有稀疏化层的深度神经网络的实例。图4是示出了根据一些公开的实施方式的、用于如图1所示的训练器的示意性流程图。图5是示出了根据一些公开的实施方式的、用于如图1所示的提取器的示意性流程图。图6是示出了根据一些公开的实施方式的、用于如图1所示的识别器的示意性流程图。具体实施方式下面将详细参考本专利技术的一些具体实施方式，这些实施方式包含专利技术人预期用于实行本专利技术的最佳模式。在附图中示出的是这些具体实施方式的示例。尽管结合这些具体的实施方式描述了本专利技术，但本领域技术人员应该理解这些描述并不是用来将本专利技术限制为所描述的实施方式。相反，其用意是希望涵盖如所附权利要求书限定的本专利技术的精神和范围内的替代方案、修改和等同方案。在以下描述中，为了完整理解本申请阐述了众多具体的细节，但是在实践中本申请可不具有这些特定细节中的一些细节或全部细节。在其它情况下，对公知的过程操作没有进行详细的描述以免不必要地混淆本申请。如本领域技术人员应该理解的那样，本专利技术可以实现为系统、方法或计算机程序产品。因此，本专利技术可以采取全部硬件的实施例、全部软件的实施例(包含固件、驻存软件、微码等等)、或者软件方面与硬件方面(在本文中可以全部总体上称为“电路”、“模块”或“系统”)组合的实施例形式。此外，本专利技术可以采取体现在任何有形表达媒介中的计算机程序产品的形式，所述有形表达媒介具有体现于媒介中的计算机可用程序代码。在如下文所公开的设备1000以软件实施的状况下，设备1000可包含通用计算机、计算机群集、主流计算机、专用于提供线上内容的计算装置，或包括以集中方式或分布方式操作的计算机的群组的计算机网络。如图2所展示，设备1000可包含一个或多个处理器(处理器102、104、106等等)、存储器112、存储装置116、通信接口114和总线以便于设备1000的各组件之间的信息交换。处理器102-106可包含中央处理单元(“CPU”)、图形处理单元(“GPU”)或其它合适的信息处理装置。取决于所使用的硬件的类型本文档来自技高网...

【技术保护点】
1.一种用于面部识别的设备，包括：特征提取单元，用于利用多个深度特征提取层次结构从输入面部图像提取特征；以及识别单元，用于计算所述提取器从不同面部图像提取的面部特征之间的距离，以在面部验证时确定两个面部图像是否来自同一身份，或在面部识别时确定所述输入图像中作为测试面部图像的一个输入图像与由所述输入图像组成的训练面部图像集中的一个训练面部图像是否属于同一身份，其中，每个所述深度特征提取层次结构包括多个级联的卷积层、局部连接层、池化层和全连接层，以及其中，所述全连接层中的神经元仅连接到其前一层中的神经元的一部分，而所述卷积层和所述局部连接层中的神经元仅连接到其前一层中的局部区中的神经元的一部分。

【技术特征摘要】
【国外来华专利技术】1.一种用于面部识别的设备，包括：特征提取单元，用于利用多个深度特征提取层次结构从输入面部图像提取特征；以及识别单元，用于计算所述提取器从不同面部图像提取的面部特征之间的距离，以在面部验证时确定两个面部图像是否来自同一身份，或在面部识别时确定所述输入图像中作为测试面部图像的一个输入图像与由所述输入图像组成的训练面部图像集中的一个训练面部图像是否属于同一身份，其中，每个所述深度特征提取层次结构包括多个级联的卷积层、局部连接层、池化层和全连接层，以及其中，所述全连接层中的神经元仅连接到其前一层中的神经元的一部分，而所述卷积层和所述局部连接层中的神经元仅连接到其前一层中的局部区中的神经元的一部分。2.根据权利要求1所述的设备，进一步包括：训练单元，用于在训练期间在所述特征提取单元上添加监督信号，以学习所述卷积层、所述局部连接层和所述全连接层中的神经元连接，且调整这些层中的神经权值。3.根据权利要求1所述的设备，其中，迭代地学习所述卷积层、所述局部连接层和所述全连接层中的神经元连接以及所述神经元连接上的神经权值。4.根据权利要求3所述的设备，其中，在一次迭代中，通过固定所述卷积层、局部连接层和全连接层中的神经元连接来调整所述神经元连接上的神经权值，接着，在固定所述神经权值的同时裁剪所述卷积层、局部连接层和全连接层中的一个或多个层中的所述神经元连接。5.根据权利要求3所述的设备，其中，根据被连接的神经元的神经激活之间的相关性而裁剪所述神经元连接，其中，裁剪掉弱相关神经元之间的大部分连接，而保留强相关神经元之间的大部分连接。6.根据权利要求3所述的设备，其中，在第一次迭代之前，所述全连接层中的神经元连接到其前一层中的所有神经元，而所述稀疏卷积模块和所述稀疏局部连接模块中的神经元分别连接到其前一层中的局部区中的所有神经元。7.根据权利要求3所述的设备，其中，对于第二次和后继的迭代，从在前一迭代中保留的神经元连接获得神经元连接，且通过在所述前一迭代中学习到的神经权值初始化这些神经元连接上的神经权值。8.根据权利要求7所述的设备，其中，从所述前一迭代中保留的神经元连接的神经权值根据联合识别-验证监督信号而可调整。9.根据权利要求8所述的设备，其中，所述联合识别-验证监督信号包括识别监督信号和验证监督信号，其中，通过将从输入面部区提取的特征分类为训练数据集中的N个身份中的一个身份、且将分类误差作为监督信号而生成识别监督信号，以及通过将分别从两个输入面部图像提取的特征进行比较，以确定其是否来自同一人且将验证误差作为监督信号而生成验证监督信号。10.根据权利要求1所述的设备，其中，由所述特征提取单元中的多个深度特征提取层次结构提取的特征被连结起来用于面部识别。11.根据权利要求10所述的设备，其中，在面部验证时，将从两个输入面部图像提取的、被连结后的特征之间的距离与阈值进行比较，以确定所述两个输入面部图像是否来自同一人，或在面部识别时，计算输入查询面部图像的特征到面部图像数据库中的每个面部图像的特征之间的距离以确定所述输入查询面部图像属于所述面部图像数据库中的哪一身份。12.一种用于面部识别的方法，包括：配置多个深度特征提取层次结构，使得每个所述深度特征提取层次结构包括多个级联卷积层、局部连接层、池化层和全连接层，且所述全连接层中的神经元仅连接到其前一层中的神经元的一部分，而所述卷积层和所述局部...

【专利技术属性】
技术研发人员：孙祎，王晓刚，汤晓鸥，
申请(专利权)人：北京市商汤科技开发有限公司，深圳市商汤科技有限公司，商汤集团有限公司，
类型：发明
国别省市：北京,11