一种人脸识别方法及系统技术方案

本发明专利技术涉及人脸识别技术领域，提供了一种人脸识别方法及系统，其方法包括：S1：对采集到的包含人脸的图像进行数据预处理，利用人脸检测器检测人脸，判断被检测的人脸是否为带有口罩的人脸；S2：利用ResNet50网络对佩戴口罩的人脸数据进行训练，得到第一人脸特征向量；对包括未佩戴口罩、未正确佩戴口罩的人脸数据进行训练，得到第二人脸特征向量；S3：将待识别人脸样本分别与所述第一人脸特征向量和第二人脸特征向量进行计算，根据计算结果选择包括识别佩戴有口罩的人脸的第一人脸识别器、识别未佩戴口罩的人脸第二人脸识别器在内的人脸识别器进行识别。通过MASK‑MTCNN、结合ResNet50等深度学习方法，能够对佩戴有口罩的人脸进行检测与识别。

【技术实现步骤摘要】
一种人脸识别方法及系统
本专利技术涉及人脸识别的
，尤其涉及一种人脸识别方法及系统。能够准确的识别人脸，并且在包括戴有口罩等的有遮挡的情况下准确的识别人脸，在防疫等情况下为安防、考勤等提供了便利。
技术介绍
人脸识别是指能够识别或验证图像或视频中的主体的身份技术。首个人脸识别算法诞生于七十年代初[M.D.Kelly,“Visualidentificationofpeoplebycomputer.,”tech.rep.,STANFORDUNIVCALIFDEPTOFCOMPUTERSCIENCE,1970.]，而后，人脸识别的准确率已大幅提升。现在相比于指纹或虹膜识别[K.DelacandM.Grgic,“Asurveyofbiometricrecognitionmethods,”in46thInternationalSymposiumElectronicsinMarine,vol.46,pp.16–18,2004.]等传统上被认为更加稳健的识别方法，人们更偏爱于人脸识别；指纹识别需要用户将手指按在传感器上，虹膜识别需要用户处于相机的视野内。这使得人脸识别成为了对用户最友好的生物识别方法。传统方法依赖于人工设计的特征(比如边和纹理的描述量)与机器学习技术(主成分分析、线性判断或支持向量机等)的组合。人工设计在无约束环境中对不同变化情况稳健的特征是很困难的，这使得过去的研究者侧重研究针对每种变化类型的专用方法，比如能应对不同年龄的方法[U.Park,Y.Tong,andA.K.Jain,“Age-invariantfacerecognition,”IEEEtransactionsonpatternanalysisandmachineintelligence,vol.32,no.5,pp.947–954,2010；Z.Li,U.Park,andA.K.Jain,“Adiscriminativemodelforageinvariantfacerecognition,”IEEEtransactionsoninformationforensicsandsecurity,vol.6,no.3,pp.1028–1037,2011.]、能应对不同姿势的方法[C.DingandD.Tao,“Acomprehensivesurveyonpose-invariantfacerecognition,”ACMTransactionsonintelligentsystemsandtechnology(TIST),vol.7,no.3,p.37,2016.]、能应对不同光照条件的方法[D.-H.Liu,K.-M.Lam,andL.-S.Shen,“Illuminationinvariantfacerecognition,”PatternRecognition,vol.38,no.10,pp.1705–1716,2005；X.TanandB.Triggs,“Enhancedlocaltexturefeaturesetsforfacerecognitionunderdifficultlightingconditions,”IEEEtransactionsonimageprocessing,vol.19,no.6,pp.1635–1650,2010.]等。传统的人脸识别方法[周杰，人脸自动识别方法综述[J],电子学报，2000]，还有基于几何特征方法，一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的集合形状为分类特征[R.Brunelli,T.Poggio.IEEETrans.PAMI,1993,15:1042～1052]；一般几何特征只描述了部件的基本形状与结构关系，忽略了局部的细微特征，造成部分信息的丢失，从而对识别的准确度也造成一定程度的影响。还有采用神经网络降维方法然而传统的神经网络在面对巨大的网络参数问题时，会束手无策，还会有过拟合等问题，不能高效的训练数据量大的原始图像集，特征提取精度也会随之降低。总而言之，传统的人脸识别算法存在以下问题：其所产生并使用的特征可以被认为属于浅层特征，而且不能从原始图像中获取更加深入的高语义特征以及其深度特征；为了获得更好的识别效果，这些传统人脸识别算法必须结合人造特征的帮助，而人为设定的特征提取和识别过程中通常会带来不可期望的人为因素和误差；在没有人为干预的情况下，传统人脸识别算法往往不能自动地从原始图像中提取有用的识别特征，而且当面对大数据的情况下，传统方法往往展现出自身存在的不足和困难。基于卷积神经网络(CNN)的深度学习方法，能够利用大量的数据集进行训练，从而学习到表征这些数据的最佳特征。然而在训练过程中，深度CNN模型难以训练，而后产生了VGG19网络，能够获得能够更加完整的图像特征；从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，然而随着网络深度(层数)的不断增加，网络准确度出现饱和，甚至下降。进一步地，基于在当前存在疫情的背景下，人们一般都会佩戴口罩，传统的人脸识别方法，无法对佩戴有口罩的人脸进行识别。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种人脸识别方法及系统，在疫情当下，通过MASK-MTCNN、结合ResNet50等深度学习方法，对佩戴有口罩的人脸进行检测与识别，并且检测出当前人是否正确佩戴口罩，对未进行正确佩戴的人进行识别，并对其进行相关提醒以正确佩戴口罩；同时，可对企业员工进行人脸考勤，可在无需去下口罩的情况下，对员工进行面部识别，以辅助考勤系统。首先，对采集到的图片或者视频，利用人脸检测器对人脸进行检测，检测其是否佩戴口罩；如果佩戴有口罩，第一人脸识别器将其进行识别；如果没有正确佩戴口罩或者未戴口罩，第二人脸识别器将其进行相应的识别，并对未佩戴口罩和没有正确佩戴口罩的人进行相应的提醒(此处正确佩戴口罩为遮住口鼻时)。本专利技术的上述专利技术目的是通过以下技术方案得以实现的：一种人脸识别方法，包括以下步骤：S1：对采集到的包含人脸的图像进行数据预处理，利用人脸检测器检测人脸，判断被检测的人脸是否为带有口罩的人脸；S2：利用ResNet50网络对佩戴口罩的人脸数据进行训练，得到第一人脸特征向量；对包括未佩戴口罩、未正确佩戴口罩的人脸数据进行训练，得到第二人脸特征向量；S3：将待识别人脸样本分别与所述第一人脸特征向量和第二人脸特征向量进行计算，根据计算结果选择包括识别佩戴有口罩的人脸的第一人脸识别器、识别未佩戴口罩的人脸第二人脸识别器在内的人脸识别器进行识别。进一步地，在步骤S2中，还包括：通过L2正则化方法对所述第一人脸特征向量和所述第二人脸特征向量进行处理。进一步地，人脸识别方法，还包括：所述人脸检测器采用MASK-MTCNN网络，为具有遮罩型多任务级卷积神经网络；所述MASK-MTCNN网络将人脸检测数据集进行了扩充，包含了带有口罩的人脸数据集；所述MASK-MTCNN网络由P-Net、R-Net、MO-Net网络串联组成，检测人脸本文档来自技高网...

【技术保护点】
1.一种人脸识别方法，其特征在于，包括以下步骤：/nS1：对采集到的包含人脸的图像进行数据预处理，利用人脸检测器检测人脸，判断被检测的人脸是否为带有口罩的人脸；/nS2：利用ResNet50网络对佩戴口罩的人脸数据进行训练，得到第一人脸特征向量；对包括未佩戴口罩、未正确佩戴口罩的人脸数据进行训练，得到第二人脸特征向量；/nS3：将待识别人脸样本分别与所述第一人脸特征向量和第二人脸特征向量进行计算，根据计算结果选择包括识别佩戴有口罩的人脸的第一人脸识别器、识别未佩戴口罩的人脸第二人脸识别器在内的人脸识别器进行识别。/n

【技术特征摘要】
1.一种人脸识别方法，其特征在于，包括以下步骤：
S1：对采集到的包含人脸的图像进行数据预处理，利用人脸检测器检测人脸，判断被检测的人脸是否为带有口罩的人脸；
S2：利用ResNet50网络对佩戴口罩的人脸数据进行训练，得到第一人脸特征向量；对包括未佩戴口罩、未正确佩戴口罩的人脸数据进行训练，得到第二人脸特征向量；
S3：将待识别人脸样本分别与所述第一人脸特征向量和第二人脸特征向量进行计算，根据计算结果选择包括识别佩戴有口罩的人脸的第一人脸识别器、识别未佩戴口罩的人脸第二人脸识别器在内的人脸识别器进行识别。


2.根据权利要求1所述的人脸识别方法，其特征在于，在步骤S2中，还包括：
通过L2正则化方法对所述第一人脸特征向量和所述第二人脸特征向量进行处理。


3.根据权利要求1所述的人脸识别方法，其特征在于，还包括：
所述人脸检测器采用MASK-MTCNN网络，为具有遮罩型多任务级卷积神经网络；
所述MASK-MTCNN网络将人脸检测数据集进行了扩充，包含了带有口罩的人脸数据集；
所述MASK-MTCNN网络由P-Net、R-Net、MO-Net网络串联组成，检测人脸和特征点定位，以及判断人脸是否为带有口罩的人脸。


4.根据权利要求3所述的人脸识别方法，其特征在于，所述人脸检测器通过采用MASK-MTCNN网络，检测人脸和特征点定位，以及判断人脸是否为带有口罩的人脸，具体为：
A：给定图像，将图像调整到不同的比例，构建出图像金字塔；使用P-Net通过浅层的CNN框架生成候选框及其边框回归向量，使用边框回归的方法校正所述候选框，使用非极大值抑制NMS合并重叠的所述候选框；
其检测人脸时使用交叉熵损失函数：



边框回归使用平方和损失函数：



B：使用R-Net改善所述候选框，将通过P-Net的候选框输入R-Net中，拒绝掉大部分false的所述候选框，继续使用边框回归与非极大值抑制NMS合并；
C：使用MO-Net输出最终的人脸框和特征点位置，及检测是否戴口罩；
其人脸特征点定位使用平方和损失函数：



判断是否戴口罩时利用公式：



当(4)式值接近于0时，检测为戴有口罩，当值接近于1时，检测为没戴口罩。

【专利技术属性】
技术研发人员：周诚，孙环荣，宫新伟，单志辉，陈兆金，牛亚，赵世亭，
申请(专利权)人：上海序言泽网络科技有限公司，
类型：发明
国别省市：上海;31