用于从人脸图像的数据提取人脸特征的方法和系统技术方案

本发明专利技术公开了一种用于从人脸图像的数据提取人脸特征的方法和系统。该系统可包括：第一特征提取单元，其被配置成对人脸图像的数据进行滤波形成第一层次(dimension)的、第一多个通道的特征图，并将该特征图下采样为第二层次的特征图；第二特征提取单元，其被配置成对第二层次的特征图进行滤波，以形成第二层次的、第二多个通道的特征图，并将第二多个通道特征图下采样为第三层次的特征图；以及第三特征提取单元，其被配置成对第三层次的特征图进行滤波以进一步减少位于人脸区域以外的高响应，从而在减少人脸图像的身份内差异的同时维持在人脸图像的身份之间的辨别力。

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及一种用于从人脸图像的数据提取人脸特征的方法和系统。专利技术背景在许多实际应用中，姿势和光照变化成为影响人脸辨识的瓶颈。目前已经提出了许多现有的工作来解决此类变化。姿势不变的方法可一般分成两种：基于2D的类型和基于3D的类型。在第一种类型中，通过2D图像匹配或者通过使用一些基础或范本对测试图像进行编码来处置姿势。例如，在一种常规的方式中，使用立体匹配来计算两张人脸之间的相似性，然后给出训练图像的测试人脸组合，并且接着利用线性回归系数作为用于人脸辨识的特征。基于3D的方法通常捕获3D人脸数据或从2D输入来估计3D模型，并且尝试将其与2D探针人脸图像匹配。此类方法使合成探针人脸的任何视图成为可能，从而使得这些方法通常对姿势变化更稳健。光照不变(illumination-invariant)方法通常对光照如何影响人脸图像作出假设，并使用该假设来模型化和移除光照效应。举例来说，在本领域中已设计出基于投影仪的系统以捕获在少量光照下画廊里的每个对象的图像，所捕获的图像可以线性地组合以生成任意光照下的图像。在该增强的画廊中，采用了稀疏编码来执行人脸辨识。以上方法具有某些限制性。例如，捕获3D数据需要额外成本和资源，而从2D数据推断出3D模型是一个不适定的问题。由于统计的光照模型常常是从受控的环境来总结，所以无法在实际应用中对其进行很好的概括。
技术实现思路
在一个方面中，本申请提供了一种用于从人脸图像的数据提取脸特征的方法，包括：1)对所述人脸图像的数据进行滤波形成第一多个通道的、第一层次的特征图；2)根据σ(x)＝max(0,x)的规则计算每个所述特征图，其中x表示所述第一层次的特征图；3)对所计算的特征图下采样，形成第二层次的特征图；4)对经下采样形成的特征图进行滤波，形成第二层次的、第二多个通道的特征图；5)根据σ(x)＝max(0,x)的规则计算所述第二层次的特征图中的每个特征图，其中x表示所述第二多个通道的特征图；6)对计算的第二多个通道的特征图进行下采样，形成第三层次的特征图；以及7)对所述第三层次的特征图中的每个特征图进行滤波以减少人脸区域以外的高响应，借以，减少所述人脸图像的身份内差异并且在所述人脸图像的身份之间维持辨别力。在另一个方面中，本申请提供了一种用于从人脸图像的数据提取人脸特征的系统，包括：第一特征提取单元，被配置成对所述人脸图像的数据进行滤波形成第一层次的、第一多个通道的特征图，并将所述特征图下采样为第二层次的特征图；第二特征提取单元，被配置成对所述第二层次的特征图进行滤波以形成第二层次的、第二多个通道的特征图，并将所述第二多个通道的特征图下采样成第三层次的特征图；第三特征提取单元，被配置成对所述第三层次的特征图进行滤波，以进一步减少位于人脸区域以外的高响应，从而减少人脸图像的身份内差异同时在所述人脸图像的身份之间维持辨别力。在一个实施例中，上述方法可由计算机中的一或多个处理器来实 施或实行。在一个实施例中，第一特征提取单元包括第一滤波器矩阵、第一非线性激活单元和第一下采样单元矩阵。第一滤波器矩阵被配置成对人脸图像的数据进行滤波使得每个特征图具有：位于人脸区域以外的、用于主要捕获人脸图像的姿势信息的大量高响应；以及位于人脸区域内部的、用于捕获人脸图像的人脸结构的多个高响应。第一下采样单元矩阵被配置成将特征图下采样为第二层次的特征图。第一非线性激活单元被配置成非线性地联接第一滤波器矩阵和第一下采样单元矩阵。在另外的实施例中，第二特征提取单元包括第二滤波器矩阵21，第二滤波器矩阵被配置成对来自第一特征提取单元的每个特征图进行滤波以减少位于人脸区域以外的高响应，从而在舍弃大多数姿势变化的同时保持人脸图像的人脸结构。第二特征提取单元进一步包括：第二非线性激活单元以及第二下采样单元矩阵。第二下采样单元矩阵被配置成将特征图下采样为第二层次的特征图，其中第二非线性激活单元被配置成非线性地联接第二滤波器矩阵和第二下采样单元矩阵。在其它方面中，本申请提供了计算机可读媒体，所述计算机可读媒体用于存储用于执行以下步骤的指令：1)对所述人脸图像的数据进行滤波形成第一层次的、第一多个通道的特征图；2)根据σ(x)＝max(0,x)的规则计算每个所述特征图，其中x表示所述第一层次的特征图；3)对所计算的特征图下采样，形成第二层次的特征图；4)对经下采样形成的特征图进行滤波，形成第二层次的、第二多个通道的特征图；5)根据σ(x)＝max(0,x)的规则计算所述第二层次的特征图中的每个特征图，其中x表示所述第二多个通道的特征图；6)对计算的第二多个通道的特征图进行下采样，形成第三层次的特征图；以及7)对所述第三层次的特征图中的每个特征图进行滤波以减少人 脸区域以外的高响应，借以，减少所述人脸图像的身份内差异并且在所述人脸图像的身份之间维持辨别力。附图说明图1示出了用于从人脸图像的数据提取人脸特征的过程的流程图。图2示出了根据本申请的实施例的用于从人脸图像的数据提取人脸特征的系统的架构。图3示出了根据本申请的实施例的用于从人脸图像的数据提取人脸特征的例示性系统的框图。图4示出了根据本申请的一个实施例的用于训练权值中的参数的流程。具体实施方式下面将详细参考例示性实施方式，并根据附图来描述本专利技术的具体实施例。如果合适，在整个附图中使用相同附图标号来指代相同或相似部分。图1示出了用于从人脸图像的数据提取人脸特征的过程100的流程图。在过程100中，一个人的具有任意姿势和光照变化的人脸图像将被用作输入，并且以该人的规范视角重建其人脸以作为目标(见图2)。首先，经由特征提取层对输入图像进行编码，该特征提取层具有三个局部连接层和交替堆叠的两个池化层，稍后将论述这些层。每个层以不同尺度来捕获人脸特征。第一局部连接层输出第一多个(例如，32个)特征图。每个特征图具有位于人脸区域以外的、主要捕获姿势信息的大量高响应，以及具有位于人脸区域内部的、用于捕获人脸结构的一些高响应。在第二局部连接层输出的特征图中，位于人脸区域以外的高响应已显著减少，这指示其舍弃了大多数姿势变化并同时保持了人脸结构。第三局部连接层输出稀疏的并保留了身份特征的FIP特征。FIP特征可用来以规范的视角恢复人脸图像。在一个实施例中，过程100包括步骤s101，在该步骤中，对人脸图像的数据进行滤波以形成第一层次(dimension)的、第一多个通道的特征图。接着，通过σ(x)＝max(0,x)来计算每个特征图，其中x表示每个第二层次的特征图。将所计算的特征图进一步下采样形成第二层次的特征图。在该步骤中，对人脸图像的数据进行滤波，使得每个特征图具有：1)位于人脸区域以外的、用于主要捕获人脸图像的姿势信息的大量高响应；以及2)位于人脸区域内部的、用于捕获人脸图像的人脸结构的多个高响应。举例来说，x0表示在任意姿势和光照下的人脸图像的数据矩阵，其具有原始层次(例如，96X96)。出于描述的目的，以下内容基于96X96的原始层次。可将数据矩阵x0的原始层次滤波形成32个通道的特征图。在一个实施例中，经由含有32个子矩阵的权值矩阵W1将x0转换为32个特征图/通道中：其中n0表示数据矩阵的原始层次(即，n0＝96)。每个子矩阵是稀疏的，以保持图像数据的局部连接结本文档来自技高网...

【技术保护点】
一种用于从人脸图像的数据提取人脸特征的方法，包括：1)对所述人脸图像的数据进行滤波形成第一多个通道的、第一层次的特征图；2)根据σ(x)＝max(0,x)的规则计算每个所述特征图，其中x表示所述第一层次的特征图；3)对所计算的特征图下采样，形成第二层次的特征图；4)对经下采样形成的特征图进行滤波，形成第二多个通道的、第二层次的特征图；5)根据σ(x)＝max(0,x)的规则计算所述第二层次的特征图中的每个特征图，其中x表示所述第二多个通道的特征图；6)对计算的第二多个通道的特征图进行下采样，形成第三层次的特征图；以及7)对所述第三层次的特征图中的每个特征图进行滤波以减少人脸区域以外的高响应，借以，减少所述人脸图像的身份内差异并且在所述人脸图像的身份之间维持辨别力。

【技术特征摘要】
【国外来华专利技术】1.一种用于从人脸图像的数据提取人脸特征的方法，包括：1)对所述人脸图像的数据进行滤波形成第一多个通道的、第一层次的特征图；2)根据σ(x)＝max(0,x)的规则计算每个所述特征图，其中x表示所述第一层次的特征图；3)对所计算的特征图下采样，形成第二层次的特征图；4)对经下采样形成的特征图进行滤波，形成第二多个通道的、第二层次的特征图；5)根据σ(x)＝max(0,x)的规则计算所述第二层次的特征图中的每个特征图，其中x表示所述第二多个通道的特征图；6)对计算的第二多个通道的特征图进行下采样，形成第三层次的特征图；以及7)对所述第三层次的特征图中的每个特征图进行滤波以减少人脸区域以外的高响应，借以，减少所述人脸图像的身份内差异并且在所述人脸图像的身份之间维持辨别力。2.根据权利要求1所述的方法，其中，所述步骤1)进一步包括：对所述人脸图像的数据进行滤波，使得所述第一多个通道的特征图中的每个均具有：位于所述人脸区域以外的大量高响应，其主要捕获所述人脸图像的姿势信息；以及位于所述人脸区域内部的多个高响应，其捕获所述人脸图像的人脸结构。3.根据权利要求1或2所述的方法，其中，所述步骤7)进一步包括：对从步骤6)接收到的每个所述特征图进行滤波以减少位于所述人脸区域以外的高响应，从而在舍弃大多数姿势变化的同时保持所述人脸图像的所述人脸结构。4.根据权利要求3所述的方法，其中，所述步骤7)进一步包括：对从步骤6)接收到的每个所述特征图进行加权；以及将经加权的特征图转换为无姿势和光照变化的正面人脸图像。5.根据权利要求1到4中的任一项所述的方法，在步骤1)之前进一步包括：将所述人脸图像转换成灰阶图像。6.根据权利要求4所述的方法，其中，分别用第一权值矩阵W1、第二权值矩阵W2、第三权值矩阵W3来实行步骤1)、4)和7)中的滤波操作，并且用第四权值矩阵W4来实行所述转换，其中，通过以下步骤来训练所述矩阵W1、W2、W3和W4：基于最小二乘方字典学习来初始化W1、W2、W3和W4的参数，并且接着通过对重建图像和实测值之间的相加平方的重建误差进行反向传播来更新所有的所述参数。7.根据权利要求6所述的方法，其中，给定是一组FIP特征而是一组目标图像，其中m表示训练示例的数目，所述初始化的操作包括：提供固定矩阵O，根据以下规则用X0和Y来初始化W1： arg min W 1 | | Y ‾ - OW 1 X 0 | | F 2 ]]>其中是一组输入图像，并且||·||F是弗罗贝尼乌斯范数，提供固定矩阵P，根据以下规则用W1X0和Y来初始化W2： arg min W 2 | | Y ‾ - PW 2 ...

【专利技术属性】
技术研发人员：汤晓鸥，朱臻垚，罗平，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11