基于混合训练的深度学习人脸验证方法技术

基于混合训练的深度学习人脸验证方法。准备人脸数据集；对每幅图像进行人脸和人脸关键点检测；对所有人脸归一化，得人脸图像训练集，再划分为训练和验证数据集，计算所有人脸图像的均值图像；将所有人脸图像都减去均值图像得均值化的训练数据集和验证数据集；训练深度卷积神经网络；对每幅人脸图像生成对应的三元组，构成三元组训练数据集和三元组验证数据集；再次训练深度卷积神经网络；对于给定待验证的两幅图像进行人脸和人脸特征点检测，并减去均值图像，输入深度卷积神经网络中，进行网络前馈操作，并提取特征；根据选定的阈值，当两幅图像提取特征之间的距离大于阈值，判定两张图像中的人脸属于同一个人，否则判定为不同人。

【技术实现步骤摘要】

本专利技术涉及计算机视觉中的人脸识别，具体是涉及一种基于混合训练的深度学习人脸验证方法。
技术介绍
人脸识别是一种生物特征识别方法。相比于其它传统的生物特征识别方法，人脸识别具有无接触性、隐蔽性、用户接受度高等优点。人脸识别在国家安全、安防、门禁控制等领域具有广泛应用，具有巨大的市场价值和科研价值。人脸识别属于基于图像的识别方法。基于图像的识别方法的挑战在于如何从图像中获取有效的特征表示，以便后续的识别分类等任务。传统的人脸识别方法，将识别任务分解为人工特征设计和分类器训练这两个独立部分分别进行学习。人脸特征提取在人脸识别中起到至关重要的作用，直接制约着人脸识别的性能。传统的特征提取方法采用的是基于人工设计，如LBP特征(T.Ahonen,A.Hadid,M.Pietikainen.Face description with local binary patterns:Application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037–2041)、SIFT特征(D.G.Lowe.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91–110)等。但是，这些浅层的特征往往无法捕获高级语义信息，极大地制约着人脸识别的性能。此外，将人脸识别分解为两个独立的步骤不利于最终的人脸识别任务。人工设计的特征可能无法跟分类器很好地匹配，造成最终整体人脸识别性能的下降。最后，手工设计的特征非常依靠于专家经验，常常需要很长的一段时间才能设计出一个好的特征，即构建一个合适于目标任务的人工特征费时费力。在基于深度学习的人脸识别方法中，卷积神经网络是一种鲁棒的特征提取方法。DeepFace(Y.Taigman,M.Yang,M.Ranzato,L.Wolf.Deepface:Closing the gap to human-level performance in face verification[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014,1701–1708)是第一个提出用卷积神经网络进行人脸特征提取的方法。该方法利用了超过440万张人脸图像作为训练数据，采用3D人脸对齐预处理方法，基于级联的卷积层和局部连接层进行特征提取。最终利用4096维特征在LFW(LabeledFaces in the Wild)(G.B.Huang,M.Ramesh,T.Berg,E.Learned-Miller.Labeled faces in the wild:A database for studying face recognition in unconstrained environments[R].Technical Report 07-49,University of Massachusetts,Amherst.2007)人脸验证评测数据中，取得了97.35％的识别率。该方法首次在LFW评测数据库中，取得了接近于人类的识别水平。紧随着，DeepID(Y.Sun,X.Wang,X.Tang.Deep learning face representation from predicting 10,000classes[C].Proceedings of the IEEE Conference on Computer Vision and Pattern recognition,2014,1891–1898)系列方法被提出。该方法主要采用了多块集成模型(multi-patch ensemble model)提高模型精度，其在不同的人脸区域中分类训练了超过25个不同的特征并进行集成融合，并利用联合贝叶斯(Joint Bayesian)方法来获取最后的特征表示。此外，DeepID还采用结合分类损失函数和验证损失函数来扩大类间特征距离同时缩小类内特征距离，以进一步提高人脸验证的性能。DeepID系列方法在LFW评测数据库中，取得了98.97％的识别率。最近三元组损失函数被引入到卷积神经网络中。比如，FaceNet(F.Schroff,D.Kalenichenko,J.Philbin.FaceNet:A unified embedding for face recognition and clustering[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015,815–823)提出了利用三元组损失函数训练卷积神经网络来进行人脸特征提取。该方法利用了超过200万人脸图像训练网络，并在LFW评测数据库中获得了99.63％的识别率。虽然基于深度卷积神经网络模型的各种方法，在LFW等评测数据库中取得了良好的性能。然而，目前在基于深度卷积神经网络模型的各类方法中，依然存在着如下一些问题：第一，训练数据需求量大。例如在DeepFace和FaceNet中，训练集都需要利用超过200万张的人脸数据。而大量的训练数据的获取有时候是一件困难的事情。第二，模型训练时间复杂度高并且计算量大。如在FaceNet中，为了训练一个好的模型，需要超过2,000h的训练时长。研究如何利用深度学习进行快速而有效的特征表示学习，是人脸识别中的一个关键的问题。
技术实现思路
本专利技术的目的是提供一种基于混合训练的深度学习人脸验证方法。本专利技术包括以下步骤：A.准备人脸数据集，其包含人脸的图像以及相应的身份标签；B.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置；C.根据人脸关键点的位置对所有人脸进行归一化处理，得到人脸图像训练集；D.对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像；E.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集；F.利用均值化的训练数据集和验证数据集训练深度卷积神经网络，采用Softmax损失函数对训练数据集进行训练和学习网络参数；同时按照一定的训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；G.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集；H.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；I.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到本文档来自技高网...

【技术保护点】
基于混合训练的深度学习人脸验证方法，其特征在于包括以下步骤：A.准备人脸数据集，其包含人脸的图像以及相应的身份标签；B.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置；C.根据人脸关键点的位置对所有人脸进行归一化处理，得到人脸图像训练集；D.将人脸图像训练集划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像；E.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集；F.利用均值化的训练数据集和验证数据集训练深度卷积神经网络，对训练数据集进行训练和学习网络参数；同时按照训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；G.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集；H.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；I.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到深度卷积神经网络中，进行网络前馈操作，并提取最后一层特征f1和f2；J.根据事先选定的阈值T，当f1与f2之间的欧式距离大于阈值T，判定两张图像中的人脸属于同一个人，否则判定为不同人，从而完成人脸验证。...

【技术特征摘要】
1.基于混合训练的深度学习人脸验证方法，其特征在于包括以下步骤：A.准备人脸数据集，其包含人脸的图像以及相应的身份标签；B.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置；C.根据人脸关键点的位置对所有人脸进行归一化处理，得到人脸图像训练集；D.将人脸图像训练集划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像；E.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集；F.利用均值化的训练数据集和验证数据集训练深度卷积神经网络，对训练数据集进行训练和学习网络参数；同时按照训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；G.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集；H.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；I.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到深度卷积神经网络中，进行网络前馈操作，并提取最后一层特征f1和f2；J.根据事先选定的阈值T，当f1与f2之间的欧式距离大于阈值T，判定两张图像中的人脸属于同一个人，否则判定为不同人，从而完成人脸验证。2.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤A中，所述准备人脸数据集采用场景下采集的人脸数据库。3.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤B中，所述人脸检测和人脸关键点的检测方法采用OpenCV提供的方法，以得到人脸关键点的位置。4.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤C中，所述归一化处理采用基于仿射变换的人脸归一化方法，其具体步骤为：C1.根据检测到的人脸关键点坐标和标准的人脸关键点坐标，利用最小二乘法拟合一个最优的仿射变换矩阵；C2.利用仿射变换矩阵，将大小不同的人脸图像变换到统一大小的标准人脸图像；C3.对收集的人脸数据集中的所有图像执行C1和C2，最终构成人脸图像训练集。5.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤D中，所述对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像的具体方法为：D1.对人脸图像训练集按照9︰1的比例进行划分，分为训练数据集和验证数据集；D2.计算训练数据集中所有人脸图像R分量的均值，计算方法为： M e a n _ R = Σ i = 1 N X i ( R ) N , ]]>其中Xi(R)为第i幅人脸图像的R分量；N为训练数据集的图像数目，且N为自然数；D3.计算训练数据集中所有人脸图像G分量的均值，计算方法为： M e a n _ G = Σ i = 1 N X i ( G ) N , ]]>其中Xi(G)为第i幅人脸图像的G分量；D4.计算训练数据集中所有人脸图像B分量的均值，计算方法为： M e a n _ B = Σ ...

【专利技术属性】
技术研发人员：严严，陈日伟，王菡子，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35