基于深度学习多层非负矩阵分解的人脸识别方法技术

本发明专利技术公开了一种基于深度学习多层非负矩阵分解的人脸识别方法，主要解决现有人脸识别技术在复杂外观变化下识别率低的问题。其技术方案是：1.利用VGG‑Face提取训练样本和测试样本各个通道数据的特征数据；2.对训练样本各个通道数据的特征数据分别重复L次归一化、非线性变换和矩阵分解的特征提取过程，得到低秩鲁棒特征；3.构建K个最近邻分类器；4.将测试样本的各个通道数据的特征数据分别进行投影，得到投影系数向量；5.将投影系数向量输入到K个最近邻分类器进行分类；6.综合K个最近邻分类器的分类结果，得到测试样本的识别结果。本发明专利技术提高了复杂外观变化下的人脸识别率，可应用于身份鉴定和信息安全领域。

Face recognition method based on deep learning multi-layer nonnegative matrix decomposition

The invention discloses a face recognition method based on deep learning multi-layer non negative matrix factorization, which mainly solves the problem of low recognition rate of existing face recognition technology under complex appearance change. The technical scheme is: 1. using VGG Face data feature extraction of training samples and test samples of each channel data; 2. features of training samples of each channel data feature data were repeated L times, normalized nonlinear transform and matrix decomposition extraction process, low rank robust characteristics; 3. construction of K nearest neighbor classifier; 4. will test the characteristic data of each channel data samples were obtained projection, projection coefficient vector; 5. projection coefficient vector input to the K nearest neighbor classifier is used for classification; 6. K comprehensive classification results of nearest neighbor classifier, the recognition results of the test sample. The invention improves the face recognition rate under complex appearance change, and can be applied in the field of identification and information security.

【技术实现步骤摘要】
基于深度学习多层非负矩阵分解的人脸识别方法
本专利技术属于图像处理
，特别涉及人脸图像识别方法，可应用于身份鉴定和信息安全领域。
技术介绍
随着人类社会的不断发展，人脸识别在安保、金融、电子政务等多个领域具有广泛应用，提高人脸识别性能有利于扩大人脸识别的应用。当前关于人脸识别的主要研究在于提取有效、鲁棒并且更具鉴别性的特征和设计具有更好分类能力的分类器。选择更加鲁棒、更有鉴别力的特征以及设计具有良好分类能力的分类器是提高人脸识别鲁棒性的关键。非负矩阵分解是一种在非负约束下进行矩阵分解的特征提取方法，具有良好的数据表示能力，可大幅度降低数据特征的维数，而且其分解特性合乎人类视觉感知的直观体验，分解结果具有可解释和明确的物理意义。基本非负矩阵分解NMF直接将原始系数矩阵分解为基矩阵和系数矩阵，并要求基矩阵以及系数矩阵都是非负的，这表明非负矩阵分解NMF只存在加性组合。因此，非负矩阵分解NMF可以看作是一个基于部分表示的模型，能够提供观测数据的局部结构，但有些情况下，NMF算法也会给出全局特征，导致分类性能受限。深度学习是机器学习领域中特征表示的一个新的研究方向，近年来在语音识别、计算机视觉等多类应用中取得突破性的进展，深度学习通过组合底层特征形成更加抽象的高层表示或特征。深度学习模型中，具有更多的非线性变换层，具有更强的泛化能力。但在实际应用中，头部姿势、照明、遮挡等因素产生的外观变化会导致深度学习的性能下降，到目前为止没有良好的解决办法。
技术实现思路
鉴于以上所述的现有技术缺点，本专利技术的目的在于提供一种基于深度学习多层非负矩阵分解的人脸识别方法，以获取深层次更具判别性的低秩鲁棒特征，提高复杂外观变化下的人脸识别率。实现本专利技术的技术关键是在深度学习的基础上，引入了一种新的多层非负矩阵分解，以对现有的深度学习方法进行改进。具体来说，本专利技术是通过对深度学习得到的样本特征进行多次非负矩阵分解，以此得到更具鉴别力的低秩特征表示，从而提高人脸识别率，其步骤包括如下：(1)将训练样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到训练样本每个通道数据的特征数据X(k)，其中，k＝1,2,...,K，K为训练样本的通道数；(2)对步骤(1)得到的特征数据X(k)分别进行归一化、非线性变换和矩阵分解的特征提取过程，得到系数矩阵H(k)；(3)将步骤(2)中的特征提取过程重复L次，得到低秩鲁棒特征hj(k)，其中，j＝1,2,...,n，n为训练样本总数；(4)根据步骤(3)得到的低秩鲁棒特征hj(k)，构造K个最近邻分类器；(5)将测试样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到测试样本每个通道数据的特征数据Y(k)；(6)根据步骤(5)得到的特征数据Y(k)进行投影过程，得到投影系数向量(7)将步骤(6)得到的投影系数向量输入到K个最近邻分类器中，得到测试样本每个通道的分类结果，其中，i＝1,2,...,e，e为测试样本总数；(8)综合步骤(7)得到的测试样本每个通道的分类结果，得到测试样本的分类结果。本专利技术与现有技术相比，具有如下优点：1)本专利技术在深度学习的基础上结合了多层非负矩阵分解，能够得到更具鉴别力的特征表示；2)本专利技术通过综合不同通道的分类结果，进一步提高了复杂外观变化下的人脸识别率。附图说明图1是本专利技术的实现流程图。具体实施方式参照图1，本专利技术的基于深度学习多层非负矩阵分解的人脸识别步骤如下：步骤1，获取训练样本每个通道数据的特征数据X(k)。(1a)获取人脸数据集Vtrain作为训练数据集，该训练数据集中的训练样本总数为n，该训练数据集的类别数量为c，该训练数据集中的每个训练样本等分为K个区域，每个区域作为训练样本的1个通道数据，训练样本共包含K个通道数据；(1b)根据训练数据集，在Linux操作系统下，利用Caffe深度学习框架对VGG-Face深度卷积神经网络参数进行微调；(1c)将训练数据集中每个训练样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到训练每个通道数据的特征数据X(k)，其中，k＝1,2,...,K；K为训练样本的通道数。步骤2，根据特征数据X(k)，获取系数矩阵H(k)。对特征数据X(k)分别进行归一化、非线性变换和矩阵分解的特征提取过程，得到系数矩阵H(k)；(2a)使用L2范数对特征数据X(k)进行归一化处理；(2b)使用sigmoid函数对步骤(2a)归一化处理后的结果进行非线性变换，得到变换后的结果B(k)；(2c)使用软约束非负矩阵分解对步骤(2b)中非线性变换后的结果B(k)进行矩阵分解，得到B(k)≈Z(k)A(k)F(k)，其中，B(k)为m×n阶矩阵，Z(k)为m×φ阶的基矩阵，A(k)为φ×c阶的辅助矩阵，F(k)为c×n阶的预测标签矩阵，m为原始特征维数，φ为分解维数，c为类别数，n为训练样本总数；(2c1)随机初始化基矩阵Z(1)(k)、辅助矩阵A(1)(k)和预测标签矩阵F(1)(k)作为迭代1次后的结果，其中，基矩阵Z(1)(k)中的任意元素满足为基矩阵Z(1)(k)的第p行q列元素；辅助矩阵A(1)(k)中的任意元素满足为辅助矩阵A(1)(k)的第α行β列元素；预测标签矩阵F(1)(k)中的任意元素满足为预测标签矩阵F(1)(k)的第γ行列元素；p＝1,2,...,m，q＝1,2,...,φ，α＝1,2,...,φ，β＝1,2,...,c，γ＝1,2,...,c，(2c2)根据如下公式，对基矩阵Z中的元素Zp,q进行更新：其中，t为迭代次数，t＝2,...,iter，iter为最大迭代次数，T为矩阵转置，为迭代t次后得到的非归一化基矩阵Z(t)′(k)的第p行q列元素；(2c3)对步骤(2c2)中得到的基矩阵Z(t)′(k)进行归一化处理，得到迭代t次的基矩阵Z(t)(k)；(2c4)根据如下公式，对辅助矩阵A(k)中的元素Aα,β(k)进行更新：其中，为迭代t次后得到的辅助矩阵A(t)(k)的第α行β列元素；A(t)(k)为迭代t次后得到的辅助矩阵；(2c5)根据如下公式，对预测标签矩阵F(k)中的元素进行更新：其中，为迭代t次后预测标签矩阵F(t)(k)的第γ行列元素；F(t)(k)为迭代t次后预测标签矩阵；λ为正则项系数；为预先定义的本地标签矩阵C(k)的第γ行列元素；(2c6)判断迭代次数t是否达到最大迭代次数iter：如果是，则停止迭代，将第iter次迭代得到的基矩阵Z(iter)(k)、辅助矩阵A(iter)(k)和预测标签矩阵F(iter)(k)，作为最终的基矩阵Z(k)、辅助矩阵A(k)和预测标签矩阵F(k)；否则，返回步骤(2c2)；(2d)根据步骤(2c)中软约束非负矩阵分解后得到的辅助矩阵A(k)和预测标签矩阵F(k)，得到系数矩阵：H(k)＝A(k)F(k)。步骤3，获取训练样本的低秩鲁棒特征h(k)。重复步骤2中的特征提取过程，得到训练样本的每个通道特征数据X(k)的低秩鲁棒特征h(k)；(3a)根据步骤2对训练样本的各个通道的特征数据X(k)进行处理，得到第1层基矩阵Z1(k)和第1层系数矩阵H1(k)；(3b)根据步骤2对步骤(3a)得到的第1层系数矩阵H1(k)进本文档来自技高网...

【技术保护点】
基于深度学习多层非负矩阵分解的人脸识别方法，包括：(1)将训练样本的每个通道数据输入到VGG‑Face深度卷积神经网络中，得到训练样本每个通道数据的特征数据X(k)，其中，k＝1,2,...,K，K为训练样本的通道数；(2)对步骤(1)得到的特征数据X(k)分别进行归一化、非线性变换和矩阵分解的特征提取过程，得到系数矩阵H(k)；(3)将步骤(2)中的特征提取过程重复L次，得到低秩鲁棒特征hj(k)，其中，j＝1,2,...,n，n为训练样本总数；(4)根据步骤(3)得到的低秩鲁棒特征hj(k)，构造K个最近邻分类器；(5)将测试样本的每个通道数据输入到VGG‑Face深度卷积神经网络中，得到测试样本每个通道数据的特征数据Y(k)；(6)根据步骤(5)得到的特征数据Y(k)进行投影过程，得到投影系数向量

【技术特征摘要】
1.基于深度学习多层非负矩阵分解的人脸识别方法，包括：(1)将训练样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到训练样本每个通道数据的特征数据X(k)，其中，k＝1,2,...,K，K为训练样本的通道数；(2)对步骤(1)得到的特征数据X(k)分别进行归一化、非线性变换和矩阵分解的特征提取过程，得到系数矩阵H(k)；(3)将步骤(2)中的特征提取过程重复L次，得到低秩鲁棒特征hj(k)，其中，j＝1,2,...,n，n为训练样本总数；(4)根据步骤(3)得到的低秩鲁棒特征hj(k)，构造K个最近邻分类器；(5)将测试样本的每个通道数据输入到VGG-Face深度卷积神经网络中，得到测试样本每个通道数据的特征数据Y(k)；(6)根据步骤(5)得到的特征数据Y(k)进行投影过程，得到投影系数向量(7)将步骤(6)得到的投影系数向量输入到K个最近邻分类器中，得到测试样本每个通道的分类结果，其中，i＝1,2,...,e，e为测试样本总数；(8)综合步骤(7)得到的测试样本每个通道的分类结果，得到测试样本的分类结果。2.根据权利要求1所述的方法，其中所述步骤(2)的实现步骤如下：(2a)使用L2范数对特征数据X(k)进行归一化处理；(2b)使用sigmoid函数对步骤(2a)归一化处理后的结果进行非线性变换，得到变换后的结果B(k)；(2c)使用软约束非负矩阵分解对步骤(2b)中非线性变换后的结果B(k)进行矩阵分解，得到B(k)≈Z(k)A(k)F(k)，其中，B(k)为m×n阶矩阵，Z(k)为m×φ阶的基矩阵，A(k)为φ×c阶的辅助矩阵，F(k)为c×n阶的预测标签矩阵，m为原始特征维数，φ为分解维数，c为类别数，n为训练样本总数；(2d)根据步骤(2c)中软约束非负矩阵分解后得到的辅助矩阵A(k)和预测标签矩阵F(k)，得到系数矩阵：H(k)＝A(k)F(k)。3.根据权利要求2所述的方法，其中步骤(2c)中使用软约束非负矩阵分解对步骤(2b)中非线性变换后的结果B(k)进行矩阵分解，按如下步骤进行：(2c1)随机初始化基矩阵Z(1)(k)、辅助矩阵A(1)(k)和预测标签矩阵F(1)(k)作为迭代1次后的结果，其中，基矩阵Z(1)(k)中的任意元素满足为基矩阵Z(1)(k)的第p行q列元素；辅助矩阵A(1)(k)中的任意元素满足为辅助矩阵A(1)(k)的第α行β列元素；预测标签矩阵F(1)(k)中的任意元素满足为预测标签矩阵F(1)(k)的第γ行列元素；p＝1,2,...,m，q＝1,2,...,φ，α＝1,2,...,φ，β＝1,2,...,c，γ＝1,2,...,c，(2c2)根据如下公式，对基矩阵Z中的元素Zp,q进行更新：其中，t为迭代次数，t＝2,...,iter，iter为最大迭代次数，T为矩阵转置，为迭代t次后得到的非归一化基矩阵Z(t)′(k)的第p行q列元素；(2c3)对步骤(2c2)中得到的基矩阵Z(t)′(k)进行归一化处理，得到迭代t次的基矩阵Z(t)(k)；(2c4)根据如下公式，对辅助矩阵A(k)中的元素Aα,β(k)进行更新：其中，为迭代t次后得到的辅助矩阵A(t)(k)的第α行β列元素；A(t)(k)为迭代t次后得到的辅助矩阵；(2c5)根据如下公式，对预测标签矩阵F(k)中的元素进行更新：其中，为迭代t次后预测标签矩阵F(t)(k)的第γ行列元素；F(t)(k)为迭代t次后预测标签矩阵；λ为正则项系数；为预先定义的本地标签矩阵C(k)的第γ行列元素；(2c6)判断迭代次数t是否达到最大迭代次数iter：如果是，则停止迭代，将第iter次迭代得到的基矩阵Z(iter)(k)、辅助矩阵A(iter)(k)和预测标签矩阵F(iter)(k)，作为最终的基矩阵Z(k)、辅助矩阵A(k)和预测...

【专利技术属性】
技术研发人员：同鸣，李明阳，陈逸然，席圣男，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61