一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法技术

一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，针对人脸化妆会导致人脸验证方法性能的降低的问题，提出了融合Fisher判别分析的多任务深度判别度量学习模型MT‑DDML‑FDA，使用深度度量学习结构，通过共享一个网络层在多个任务之间学习共享的转换知识，来捕获不同任务的人脸图像之间的潜在识别信息。同时，MT‑DDML‑FDA使用Fisher判别分析将类内相关矩阵和类间相关矩阵引入该模型，使每一个任务具有良好的距离度量。实验证明，MT‑DDML‑FDA在真实化妆人脸数据集上能够有效提高人脸验证的性能。

A multi task depth discrimination learning model for face verification

【技术实现步骤摘要】
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法
本专利技术涉及人脸识别领域，具体涉及一种融合Fisher判别分析的多任务深度判别度量学习(MT-DDML-FDA)的化妆人脸验证方法。
技术介绍
随着人工智能、云计算和高性能计算的发展，人脸验证领域出现了大量性能优秀的算法，逐步解决了与姿势、照片和面部表情等相关的难题，这些算法能够在不同应用场景中实现无约束的人脸验证和面部识别。但人脸验证仍在一些应用中存在挑战，包括跨年龄场景和化妆场景等。在现实世界的应用中，面部化妆常见且会显著改变面部的感知外观，降低人脸的辨识，化妆前后的人脸可以直观地感受到面部外观的明显变化。因此，对人脸化妆具有鲁棒性的人脸验证算法对实际应用有着重要的意义。为了开发一个强大的面部识别系统，化妆品对人脸验证的影响亟需解决。近年来，深度学习方法显著改善了人脸验证。深度学习方法可以分为两类：一类是基于深度神经网络提取非线性特征和识别特征来表示人脸图像。深度学习的另一类是深度度量学习。目前常用的距离学习的距离度量方法主要基于欧式距离和马式距离，但这些方法不足以解决复杂场景下的人脸识别问题。深度度量学习的目标是使用深度学习的方法来学习距离度量，以发现配对样本之间的相似性和不配对样本之间的差异性。在面对化妆人脸验证的任务时，无论外表如何变化，同一个人的一对面部图像与所呈现的化妆品都应具有最大的相关性，而不同的人即使拥有相同的化妆品或不化妆，也不应具有很大的相关性。人脸验证可以看作是一个二值分类问题，同一个人的图像对可以标记为正对，不同人的图像对可以标记为负对。从分类的角度来看，如果能找到一个投影空间，使得同一个人图像距离尽可能得小，不同人图像间的距离尽可能地大，那么人脸验证问题可以得到有效解决。
技术实现思路
本专利技术基于深度判别度量学习(DDML)模型构建一个深度判别度量学习，并融入Fisher判别分析和多任务的思想，提出了融合Fisher判别分析的多任务深度判别度量学习(Multi-taskDeepDiscriminativeMetricLearningwithFisherDiscriminantAnalysis，MT-DDML-FDA)模型。MT-DDML-FDA使用多层深度判别度量学习结构，通过共享一个网络层，在多个任务之间学习共享的转换知识来捕获不同任务的人脸图像之间的潜在识别信息。神经网络的每一层次均形成非线性变换，以形成一个良好的距离度量。同时，融合Fisher判别分析将类内相关矩阵和类间相关矩阵引入深度神经网络，将具有高相似性的类间样本投影到一个邻域中，使得类间邻域样本尽可能远离，保证每个任务所学习的距离度量以有效的方式执行。一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，所述人脸验证方法为，步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。进一步地，假设同时有M个任务学习，给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i＝1,2,...,nm,m＝1,2,...,M}，其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i，lm,i表示其相应的图像对的标签，lm,i＝1说明图像xm,i和ym,i来源于同一人，lm,i＝-1说明图像xm,i和ym,i来源于不同的人。进一步地，步骤1中，MT-DDML-FDA的第1层是所有任务的共享层，输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为：g(1)(xm,i)＝φ(W(1)xm,i+b(1))(5)其中W(1)和b(1)表示共享层的映射矩阵和偏移向量；MT-DDML-FDA从第2层开始，每个人脸图像对应不同的任务，设和分别表示第2层第m个任务对应的映射矩阵和偏差向量，xm,i在第2层网络的输出表示为：MT-DDML-FDA从第3层开始，前一层的输出作为后一层的输入，依照这一方式传递至最顶层，得xm,i在最顶层，即第P层，的输出为：其中和分别表示最顶层第m个任务对应的映射矩阵和偏差向量，此时，人脸图像对(xm,i,ym,i)的距离度量由下式计算得到：进一步地，在多任务深度判别度量学习的框架上考虑Fisher准则，MT-DDML-FDA定义的优化问题为：其中和分别为第m个任务在多任务深度判别度量学习中最顶层的类内相关矩阵和类间相关矩阵：式(10)和(11)中的qi,c和qi,b分别定义为进一步地，步骤2中，MT-DDML-FDA的求解方法，采用反向传播方法，在训练过程的每次迭代中，根据梯度下降公式更新各层的参数，映射矩阵和偏差向量可用下式更新：其中μ是梯度下降的学习速率；通过最小化MT-DDML-FDA的目标函数，共享层的梯度和偏差向量和为类似地，得第p层的第m个任务的梯度和偏差向量和为：对于顶层网络的参数和得到如下更新公式：对于非顶层网络的参数和得到如下更新公式：其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入，得到：进一步地，最终得到的用于化妆人脸验证的MT-DDML-FDA模型，其算法如下：输入：P个任务的人脸图像，正则化参数α,β，最大迭代次数T，最大近邻数k和收敛阈值ε；输出：映射矩阵W(1)和偏差向量b(1)和k＝1,2,…，P；Step1，特征提取每对人脸图像的特征，得到P个任务的人脸图像对的特征向量表示Xk＝{(xk,i,xk,j,li,j)|k＝1,2,...,P}；Step2，初始化所有映射矩阵和偏差向量；Step3，从第一层到第L层使用式(7)计算和Fort＝1,2,…,TFork＝1,2,…,PStep4，使用式(10)和(11)计算和Step5，使用式(8)计算d2(xp,i,yp,i)；Step6，从第L层到第一层使用式(14)和(15)计算和；Step7，更新映射矩阵W(1)和偏差向量b(1)；Step8，从第2层到第L层更新映射矩阵和偏差向量Step9，使用式(9)计算目标函数Jt；Step10，使用W和b更新和end本专利技术达到的有益效果为：1)引入多任务学习框架，在多个任务之间学习共享的投影信息，这些投影信息可以捕获不同任务的人脸图像之间的潜在识别信息。2)利用每个任务特殊的识别信息，同时考虑不同的任务之间的差异性，使得每个任务所学习的距离度量更有效。3)图像的局部几何信息是人脸识别问题的重要信息，将Fisher判别引入多任务深度度量学习，在投影过程基于配对信息建立能较好区分人脸图像的方法。实验结果表明M本文档来自技高网...

【技术保护点】
1.一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：/n所述人脸验证方法为，步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。/n

【技术特征摘要】
1.一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：
所述人脸验证方法为，步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。


2.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：假设同时有M个任务学习，给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i＝1,2,...,nm,m＝1,2,...,M}，其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i，lm,i表示其相应的图像对的标签，lm,i＝1说明图像xm,i和ym,i来源于同一人，lm,i＝-1说明图像xm,i和ym,i来源于不同的人。


3.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：步骤1中，MT-DDML-FDA的第1层是所有任务的共享层，输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为：
g(1)(xm,i)＝φ(W(1)xm,i+b(1))(5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量；
MT-DDML-FDA从第2层开始，每个人脸图像对应不同的任务，设和分别表示第2层第m个任务对应的映射矩阵和偏差向量，xm,i在第2层网络的输出表示为：



MT-DDML-FDA从第3层开始，前一层的输出作为后一层的输入，依照这一方式传递至最顶层，得xm,i在最顶层，即第P层，的输出为：



其中和分别表示最顶层第m个任务对应的映射矩阵和偏差向量，此时，人脸图像对(xm,i,ym,i)的距离度量由下式计算得到：





4.根据权利要求3所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：在多任务深度判别度量学习的框架上考虑Fisher准则，MT-DDML-FDA定义的优化问题为：



其中和分别为第m个任务在多任务深度判别度量学习中最顶层的类内相关矩阵和类间相关矩阵：






式(10)和(11)中的qi,c和q...

【专利技术属性】
技术研发人员：陆兵，周国华，蒋晖，
申请(专利权)人：常州工业职业技术学院，
类型：发明
国别省市：江苏;32