一种基于关键点矫正的快速人脸检测识别方法技术

本发明专利技术属于人脸识别应用技术领域，具体公开了一种基于关键点矫正的快速人脸检测识别方法，包括以下步骤，步骤1、建立人脸库；步骤2、检测人脸；步骤3、分辨率、正偏判别；步骤4、提取特征；步骤5、计算人脸相似度并匹配。本发明专利技术的一种基于关键点矫正的快速人脸检测识别方法的有益效果在于：1、本发明专利技术识别方法，过滤过小过偏人脸，解决工业电视摄像头拍摄人脸角度不正以及分辨率较小影响识别精确度的问题；2、增加一个新的人脸检测网络RetinaDF加快检测速度以及一个新的加权距离计算人脸相似度用以平衡欧氏距离与余弦距离提高识别准确性。平衡欧氏距离与余弦距离提高识别准确性。平衡欧氏距离与余弦距离提高识别准确性。

【技术实现步骤摘要】
一种基于关键点矫正的快速人脸检测识别方法


[0001]本专利技术属于人脸识别应用
，具体涉及一种基于关键点矫正的快速人脸检测识别方法，适用于工业电视摄像头场景下。

技术介绍

[0002]随着深度学习的发展，通常利用深度学习神经网络检测人脸和预测关键点，同时基于关键点矫正的人脸识别技术也越发成熟。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像头采集含有人脸的图像或视频，并在图像或视频每一帧中检测人脸并确定人脸的位置，对检测到的人脸进行仿射变换矫正以及脸部识别。
[0003]人脸识别主要包括四个部分，分别为：人脸检测、图像预处理、人脸特征提取、匹配与识别。
[0004]人脸检测是在图像中找到人脸目标并准确标定出人脸的位置和大小。由于人脸的特殊性，比如人脸目标较小、人脸特征不明显、遮挡等问题，通用目标检测在检测人脸目标时往往有较大的局限性，因此人脸检测往往有专门的算法，或者在通用目标检测算法的基础上针对人脸目标进行改进，以提升人脸检测精度。人脸检测模型 RetinaFace，是基于通用目标检测网络 RetinaNet 的改进版，添加了 SSH 网络的检测模块，将是否是人脸的分类、人脸框回归、人脸关键点三者分别用三个检测 Head 输出，提升了检测精度；使用轻量化网络 MobileNet 作为骨干网络提取特征，提高检测速度。
[0005]图像预处理是对检测到的人脸进行处理并服务于特征提取的过程。人脸检测获取的原始图像由于受到各种条件的限制，往往不能直接使用，必须进行预处理，包括灰度变换、光线补偿等。最常使用的预处理是根据检测得到的人脸关键点信息，对人脸进行仿射变换，将人脸旋转摆正，以此提升识别精度。
[0006]人脸特征提取是对人脸进行特征建模的过程，基于深度学习的人脸特征提取是由深度神经网络所完成。FaceNet 可以直接将人脸映射到欧几里得空间，欧几里德空间中的距离直接对应于人脸相似性的度量。同样的，使用轻量化网络 MobileNet 提取人脸特征，训练时以人名作为标签、每个标签有多张人脸作为数据集训练一个人脸分类器，使用特征提取网络推理时，将分类器最后一个全连接层去除，输出一个维度为128的一维特征向量作为人脸特征。
[0007]匹配与识别是将检测到的人脸提取特征之后与人脸库中的人脸特征进行搜索匹配，与人脸库中的人脸计算欧式距离或者余弦距离，设定一个阈值，当相似度超过阈值，则把匹配得到的结果输出。
[0008]对于工业电视摄像头实现关键点矫正人脸识别，会有许多限制与困难。一般的车站入口或者门禁的人脸识别系统的人脸库录入人脸一般分辨率较大，检测到的人脸一般至少需要200*200像素方可以保证准确识别，因此使用摄像头近距离检测人脸，而且需要是正脸才可以保证准确识别；而工业电视摄像头由于角度问题检测到的人脸一般不是正脸，且分辨率高的摄像头能检测到的人脸分辨率也较小一般只有几十像素，这二者都会影响人脸
特征提取的充分性，进而影响识别效果。
[0009]过曝或过暗的光照环境都会影响人脸识别效果，目前常用的人脸识别系统自带补光功能；而工业电视摄像头有的会在室外，人脸提取特征受到光照影响较大，且还会有夜间场景摄像头使用夜间模式，无法有效提取特征，同时对于人脸库中一般为彩色的人脸，识别效果会很差。
[0010]实际场景中人都在运动，人脸相对于摄像头的移动会产生运动模糊。目前门禁等人脸识别系统有自动抗模糊的功能，一般会在检测到清晰合适的人脸后对画面进行短暂的定格，以提高对人脸识别算法的效果与速率；而工业电视摄像头有的本身分辨率不高，比较模糊，且大多没有抗模糊功能，即使检测到人脸也会影响识别效果人脸被帽子、口罩等遮挡物遮挡的情况下人脸关键信息被遮挡，影响人脸特征提取的充分性，进而影响识别效果。门禁等人脸识别系统通常需要脱掉这些遮挡物来保证人脸识别算法精确度；而工业电视摄像头的场景下比如电厂中的人员需要一直佩戴安全帽，遮挡人脸的情况经常发生，影响算法识别精度。
[0011]在工业电视摄像头场景下经常会有很多人脸出现，会经常导致一张画面检测识别很慢。在工业电视摄像头场景下使用欧式距离计算人脸相似度，容易将不认识的人脸识别成在人脸库的人脸，而使用余弦距离计算人脸相似度，容易将在人脸库的人脸识别不出来。
[0012]基于上述问题，本专利技术提供一种基于关键点矫正的快速人脸检测识别方法。

技术实现思路

[0013]专利技术目的：本专利技术的目的是提供一种基于关键点矫正的快速人脸检测识别方法，其解决
技术介绍
中所存在的问题，即工业电视摄像头由于角度问题检测到的人脸一般不是正脸，且分辨率高的摄像头能检测到的人脸分辨率也较小一般只有几十像素，这二者都会影响人脸特征提取的充分性，进而影响识别效果；工业电视摄像头场景下经常会有很多人脸出现，会经常导致一张画面检测识别很慢；使用欧式距离计算人脸相似度，容易将不认识的人脸识别成在人脸库的人脸，而使用余弦距离距离计算人脸相似度，容易在人脸库的人脸识别不出来。
[0014]技术方案：本专利技术提供的一种基于关键点矫正的快速人脸检测识别方法，包括以下步骤，步骤1、建立人脸库，录入人脸时要保证人脸分辨率不能过大，最大不超过150像素； 步骤2、检测人脸，将采集到的含有人脸的图片输入人脸检测网络 RetinaDF，根据输出的人脸框信息在原图中截取人脸，根据关键点对人脸进行旋转矫正，输入FaceNet特征提取网络提取人脸特征和相应的人名保存进人脸库；步骤3、针对图片或者视频帧，输入人脸检测网络，检测网络输出人脸框后截取人脸；步骤4、分辨率、正偏判别，将判断后的人脸进行仿射变换，根据关键点旋转扶正，输入 FaceNet 提取特征；步骤5、计算人脸相似度并匹配，将提取到的特征与人脸库中的特征匹配，计算相似度距离。
[0015]本技术方案的，所述步骤1中，录入人脸时要保证人脸分辨率不能过大，最大不超过150像素，为了与场景匹配，直接使用工业电视摄像头采集人脸为佳，采集人脸时采集正脸、左侧脸、右侧脸、偏下、偏上等五个角度的人脸，每个角度采集多张人脸，同一种角度的多张人脸，偏移角度尽可能不同且差距大一些，录入的人脸不能有面部的遮挡。
[0016]本技术方案的，所述步骤2中人脸检测网络RetinaDF使用 MobileNet 作为骨干网
络，叠加膨胀率不同的膨胀模块，膨胀模块由标准卷积和膨胀卷积以及残差连接构成，覆盖多个感受野的输出特征，随后输入SSH 模块，将人脸概率、人脸框回归、人脸关键点三者分别用三个检测 Head 输出。
[0017]本技术方案的，所述步骤3中建立人脸库后，利用工业电视摄像头采集人脸图片或者视频实现人脸识别算法，判断截取到的人脸是否分辨率过小，如果宽高尺寸都小于80像素，则判断人脸过小，不送入特征提取网络提取特征并识别；根据人脸两眼、鼻子、嘴角共五个关键点信息判断人脸是否过偏，如果人脸过偏，不送入特征提取网络提取特征并识别。
[0018]本技术方案的，所述步骤5中加权距离计算人脸相似度，平本文档来自技高网...

【技术保护点】

【技术特征摘要】
0.1，如果上述计算的比例小于这个阈值，判断人脸过偏；如果鼻子在 y 轴方向过度靠近左眼、右眼或者左嘴角、右嘴角，判断人脸过偏，计算在 y 轴方向鼻子与左眼、右眼中心点的距离 y
1 与左右眼中心点、左右嘴角中心点间距 (y
1 + y2) 的比例，计算在 y 轴方向鼻子与左嘴角、右嘴角的距离 y
2 与左右嘴角间距 (y
1 + y2) 的比例，在判断偏上偏下这两个方向要比判断偏左偏右更严格，设...

【专利技术属性】
技术研发人员：田维青，肖建军，张显，饶毅，黄勇，宋万礼，陈辉，张超，余玲，王龙，居亮，
申请(专利权)人：南京南自信息技术有限公司，
类型：发明
国别省市：