一种基于特征扩充的单样本人脸识别方法技术

本发明专利技术属于人脸识别技术领域，涉及一种基于特征扩充的单样本人脸识别方法。本发明专利技术基于迁移学习，采用了深度卷积神经网络提取具有鲁棒性的人脸特征，提出了一种特征空间的样本扩充方法：首先，基于迁移习，在多样本公共人脸集上训练一个深度卷积神经网络，并应用于目标人脸数据集，用预训练好的模型提取人脸特征；再利用辅助数据集的类内差异在特征空间扩充数据，然后用扩充后的数据训练分类器，获得更好的识别性能。同时这种基于特征空间的样本扩充方法克服样本不足的问题，比一般的图像域的数据增强更具潜力，提高了模型的识别率。提高了模型的识别率。提高了模型的识别率。

【技术实现步骤摘要】
一种基于特征扩充的单样本人脸识别方法


[0001]本专利技术属于人脸识别
，涉及一种基于特征扩充的单样本人脸识别方法。

技术介绍

[0002]由于人脸识别的实际应用越来越广泛，人脸识别成为了一个热门的研究方向。大量的人脸识别算法被提出，但是大部分算法需要充分的有代表性的训练数据才能达到不错的性能，而事实上，收集大量训练样本是非常困难的，这也是当前人脸识别技术面临的主要挑战之一。在一些特殊的场合，如法律实施、护照验证、身份验证等，每人只能得到一幅图像。特别是大规模识别应用中，如果要为每个人收集更多的训练样本，势必会造成极其昂贵的成本，因此只能用这些有限的图像去训练人脸识别系统。在这种情况下，称为单样本人脸识别。此时很多现有算法识别效果不够理想，识别率低甚至有些根本不适合。对于像LDA等一系列需要考虑类内差异的算法要求每类样本至少有两个训练样本。当每个人只有一个训练样本时，类内散度矩阵不存在，导致该算法在单样本下无法使用。受现实应用需求的刺激，单样本人脸识别研究引起了相关研究小组和领域专家的关注，成为了人脸识别领域最新的一个研究热点。
[0003]虽然单样本人脸识别的准确率还不够理想，相比多样本人脸识别，单样本有其自身的独特优势，也是人脸识别走向应用的终极目标，具有极强的实际意义：(1)便于采集(2)节省存储成本(3)提高预处理速度(4)提高识别速度。
[0004]人脸识别作为一种应用系统，走向实用是其最终目标。在实际应用中，由于条件限制通常只能获得每人一张照片作为训练样本，如依靠居民身份证、护照等单独进行验证。另一方面，从系统运行成本来分析，对于大型的系统而言不可能对每个人采集大量样本。因此，如何有效地解决单样本条件下的人脸识别问题是人脸识别系统走向实际应用的一个重要研究课题。
[0005]解决这一问题的方法大致可以分为三类：(1)抽取鲁棒性的特征，如投影组合主成分分析(PC2A)，二维的主成分分析(2DPCA)，卷积神经网络(FaceNet)(2)生成虚拟样本，比如基于低秩分解的方法，基于奇异值分解(SVD)的方法，基于3D形变模型(3DMM)的方法(3)generic learning(一般的学习)，如稀疏变异字典学习(SVDL)。这些方法并不都适用于单样本人脸识别。由于每类只有一个训练样本，缺少类内差异，使得无法预测测试图像的类内变化，这严重影响了单样本人脸识别的性能。
[0006]已有的特征提取方法中，卷积神经网络在有大量训练样本时，表现出了不错的性能。在此基础上，可以考虑迁移学习，利用多样本人脸数据集作为辅助数据集，对网络进行预训练，然后用于目标数据集，提取鲁棒性的特征。进一步，可以挖掘更多的特征空间的语义信息，提高单样本人脸识别系统的识别性能。

技术实现思路

[0007]针对上述存在问题或不足，为了克服传统人脸识别方法在训练数据不足情况下识
别率低的缺陷，使单样本人脸识别系统能够利用每类单个样本训练鲁棒性的模型。本专利技术提供了一种基于特征扩充的单样本人脸识别方法。
[0008]本专利技术由以下步骤实现，其技术框图见附图1。
[0009]技术框图说明：首先，图的上半部分是训练过程的第一阶段模型预训练。模块深度卷积神经网络(DCNN)后面接了一个L2 normalization，使得将DCNN的输出映射到一个超球面特征空间上。这里，把L2normalization的输出作为提取的人脸特征。首先以分类任务在Multi-Sample(多样本数据集)训练这个网络。假设用I表示输入图像，网络学习到的人脸特征X∈Rd可表示为其中表示预训练模型中从输入层到L2 normalization层的前向运算操作。d是X的维度，将输入I映射到d维的欧式空间，L2 normalization使得
[0010]其次，图的下半部分是训练过程的第二阶段，包括参数迁移、特征空间样本扩充和模型微调。一般来说，迁移学习的做法是：一个预训练好的模型直接在目标数据集上微调。但由于是单样本训练集，这种直接做法效果不是很好。为了解决这个问题，本专利技术在特征空间做了一个样本扩充，然后对模型微调。从图中可以看出，一般数据集(Generic set)和单样本数据集(Gallery set)同时输入预训练模型，经过L2 normalization后得到一般从数据集提取的特征(Generic features)和单样本数据集提取的特征(Gallery features)，然后用Generic features的类内变化扩充单样本数据集的特征，最后用扩充后的特征微调最后一层softmax分类层。
[0011]具体步骤如下：
[0012]步骤1、在训练或测试前，先要对所有人脸图像做预处理，这里利用了MTCNN模型对人脸做了检测对齐，对齐后的图像尺寸resize为160
×
160(resize后的这个分辨率可根据具体情况调整)，并进行归一化。
[0013]步骤2、基于迁移学习，利用多样本数据集CASIA-WebFace预训练深度卷积神经网络，学习一个人脸嵌入空间。这里DCNN可以用当下主流网络VggNet、ResNet或者GoogleNet等。整个训练框图见附图1。
[0014]由于深度卷积神经网络的训练大量数据，没办法直接用来解决单样本人脸识别问题。所以本专利技术用了迁移学习，在一个多样本人脸数据集上预训练模型。迁移学习利用了一个特征场景的知识来帮助另外一个应用场景。为了学习一个紧凑的嵌入特征空间，这里的深度卷积神经网络架构用的是inception-resnet-v1，它结合inception单元和残差结构的优势。除了加入的L2 normalization和最后一层网络的神经元数不同，其他部分和inception-resnet-v1是一样的。其中最后一层网络的神经元数等于待识别目标类别总数。DCNN的完整结构见附图2。模型训练用的人脸数据集是CASIA-WebFace，这个数据集包含10575个人，总共493456张人脸图像，本专利技术将L2normalization的输出作为人脸表示特征。模型预训练用了交叉熵损失函数：-∑kyklogy
′
k，其中yk表示第k个样本的真实标签，y
′
k表示第k个样本的预测标签。
[0015]步骤3、模型预训练好后，将其应用到目标数据集，提取到目标训练集(galleryset)和一般集合(genericset)的人脸特征，将图像输入预训练好的模型，取网络L2normalization的输出即得到人脸特征，分别记作gallery features和genericfeatures。
[0016]步骤4、特征空间样本扩充。为了进一步提高模型的识别准确率，本专利技术提出了一种在特征空间扩充样本的方法。一般的样本扩充方法是在图像域进行的，而本专利技术提出在特征空间进行样本扩充，这是一种更加有效充满潜力的方法。这种方法通过在特征空间用一般数据集特征的类内方差扩充单样本集特征。具体实现方法主要包含两个步骤：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征扩充的单样本人脸识别方法，其特征在于，包括以下步骤：步骤1、对所有人脸图像做预处理：对人脸进行检测对齐，统一对齐后的图像分辨率，并进行归一化；步骤2、基于迁移学习，利用已知的多样本人脸数据集预训练深度卷积神经网络DCNN模型，学习一个人脸嵌入空间；DCNN最后一层全连接前加入L2 normalization，L2normalization的输出将人脸图像映射到超球面特征空间，并设定最后一层网络的神经元数等于待识别目标类别总数；模型预训练用了交叉熵损失函数：-∑kyklogy
′
k，其中yk表示第k个样本的真实标签，y
′
k表示第k个样本的预测标签；步骤3、模型预训练好后，将其应用到目标数据集，所述目标数据集为根据实际需求采集的单样本数据集和一般数据集，将单样本数据集和一般数据集同时输入预训练好的模型，取网络L2 normalization的输出即得到人脸特征，分别记作单样本集特征和一般数据集特征；步骤4、特征空间样本扩充，用一般数据集特征的类内方差扩充单样本集特征，具体实现方法为：a)从一般数据特征集中为单样本特征集的每一类对象选择一个子集，用来扩充每一类单样本特征，选择的原则是基于单样本特征和一般数据集特征的相似度，假设一般数据集特征中有m1类不同人脸的特征，每一类有n种差异特征样本，单样本集特征中有m2类不同人脸的特征，每一类只有一个特征样本，用F表示一般数据集特征，Fi表示一般数据集特征的第i类特征，Fij表示第i类的第j个特征样本，其中i∈[1，m...

【专利技术属性】
技术研发人员：ꢀ五一IntClG零六K九零零，
申请(专利权)人：江苏巨麦信息技术有限公司，
类型：发明
国别省市：