一种基于人脸质量评价的人脸抓拍识别方法技术

本发明专利技术公开了一种基于人脸质量评价的人脸抓拍识别方法。本发明专利技术在三个具有质量等级差异的典型数据集上采用深度学习进行人脸质量评价分数回归训练，获取人脸质量评价模型，将该模型用于人脸抓拍系统，针对多人脸抓拍场景，为了降低系统负载同时不失准确性，将实时接收的视频流按固定可设置帧数划分为若干个抓拍周期，每个抓拍周期内动态调整抓拍质量条件，输出一段时间内质量最高的人脸提供给人脸识别算法进行识别。本发明专利技术采用深度学习的技术进行人脸质量打分，配合人脸抓拍进行低质量人脸过滤和最优人脸选择，从而更好地服务于人脸识别系统，实现更低系统硬件资源占用的同时达到更高的人脸识别率。

A Face Capture Recognition Method Based on Face Quality Evaluation

The invention discloses a face capture recognition method based on face quality evaluation. The method adopts in-depth learning to carry out face quality evaluation score regression training on three typical data sets with different quality levels, obtains face quality evaluation model, and applies the model to face capture system. In order to reduce system load and keep accuracy, real-time received video stream is divided into several grabs according to fixed set frame number for multi-face capture scene. In each capture cycle, the quality condition of the capture is dynamically adjusted, and the highest quality face is output for a period of time to be provided to face recognition algorithm for recognition. The invention uses deep learning technology to score face quality, carries out low-quality face filtering and optimal face selection with face capture, thereby serving the face recognition system better, realizes lower occupancy of hardware resources of the system and achieves higher face recognition rate at the same time.

【技术实现步骤摘要】
一种基于人脸质量评价的人脸抓拍识别方法
本专利技术属于计算机视觉
，涉及一种基于人脸质量评价的人脸抓拍识别方法。
技术介绍
视频监控场景下人脸识别的输入是由智能人脸抓拍系统输出的大量抓拍人脸图像，由于场景的不可控性，非理想环境下同一个人的多张图片质量参差不齐，常见影响因素如亮度对比度过低、人脸姿态过偏、面部遮挡、剧烈表情变化、低分辨率、图像模糊以及噪声等。为了提高识别精度，减少误识率以提高系统性能，需要采用人脸质量评价进行选优。中国专利技术专利：CN20111017191.X《客户采集终端人脸图像质量实时监控方法》通过判断人脸是否戴眼镜、脸部是否遮挡以及是否有影响图像质量的姿态来对人脸进行提示过滤，缺点是考虑的质量影响因素偏于单一，而且不利于区分于同一因素下不同质量的人脸。CN201710774182.1《人脸质量判别及图片增强的方法及装置》根据人脸清晰度、人脸大小和人眼的开合度计算人脸综合评价分数。CN201610674387.8《一种兼顾实时性及人脸质量的过滤选择方法及系统》根据人脸角度、人脸大小、背光度分别评分，然后进行加权得到最终分数。类似的，CN201610870876.0《一种基于可见光的人脸优选方法及系统》选取了人脸三维旋转角度、人脸阳光曝光面积、人脸清晰度和人脸遮挡面积进行评分和加权。这些方法虽然结合多个不同的评价指标，一定程度上避免了通过单一因子进行质量评价的局限性，但是基于传统的图像处理与模式匹配方法，在特征的选择上仍具有较大的主观性，且计算起来较为复杂，还需进行权重等参数的训练调试，无法保证各种多变场景下人脸识别的准确率。CN201710121461.8《基于深层卷积神经网络的人脸质量评估方法和系统》、CN201711439458.7《基于卷积神经网络评估人脸图像质量的方法和装置》专利均采用了基于深层卷积神经网络的人脸质量评估方法，相比于传统方法，卷积神经网络(CNN)具有优异的特征学习能力、复杂特征与上下文信息的表达能力，同时可以达到更高的精度。但是这些方法中训练人脸质量评价所需的特定图像质量标签值的获取，仍需要通过上述传统方法给出，或者投入大量的人力成本进行标注，这就造成更加复杂的流程，亦或更长时间上和更多人力上的消耗。而CN201711180270.5《基于人脸比对的人脸图像质量评价方法及装置》中则以人脸图像与标准参考图像进行人脸比对的相似度作为质量参考标签值，该方法直接面向识别，避免了上述标签获取的缺陷，但是同时带来新的问题：首先对于深度学习训练所需的大量数据而言，大量参考图片的获取和选取比较困难；另一个需要考虑的是训练出的质量评价模型可能只会较好地服务于特定人脸识别比对模型，但是对于不同的识别模型选取的最优质量人脸效果会变差，因而不具备普适性。因此，有必要提供一种基于深度学习技术的易于操作、适应多个场景的人脸质量评价方法，以及相配套的完善的视频监控人脸抓拍识别系统，来解决人脸识别中的人脸质量评价问题。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于人脸质量评价的人脸抓拍识别方法。本专利技术解决技术问题所采取的技术方案为：步骤1、初始化系统，维护人脸状态。步骤2、视频图像采集设备获取当前帧图像。步骤3、人脸检测器获取图像中所有人脸矩形区域坐标。步骤4、人脸区域输入关键点定位算法获得人脸关键点。步骤5、根据人脸关键点将人脸区域图旋转缩放变换到固定大小。步骤6、将步骤5中图像输入人脸质量评价模型获得人脸得分。步骤7、使用跟踪算法串联前后帧人脸，更新每个人脸最大得分、最优人脸图像、抓拍张数和识别置信度历史。步骤8、在一个抓拍周期内，若同一个人脸抓拍次数较多，则提高质量阈值，若识别置信度历史最大值大于一定阈值则设置近期不抓拍标志，否则跟踪状态为消失时输出最优人脸图。步骤9、使用最优人脸图进行人脸比对识别。所述的人脸质量评价模型通过以下方式建立：准备整体人脸质量存在等级差异的非人脸、中等质量人脸、高质量人脸三个数据集。将含人脸的数据集图片用人脸检测器获取人脸矩形区域坐标。人脸矩形区域输入关键点定位算法获得人脸关键点。根据人脸关键点将数据集图片旋转缩放变换到固定大小，得到归一化的人脸图像数据。三个数据集按质量分别赋予0，1，2三个标签，与得到归一化的人脸图像数据一并作为训练数据输入卷积神经网络进行训练调参，得到人脸质量评价模型。本专利技术的有益效果：本专利技术在人脸质量评价训练阶段无需进行复杂的质量分数标签获取，只需要基于整体数据集合质量进行质量分数标签分级，这样很大程度上降低了训练数据准备难度和训练准备阶段计算复杂度，节省大量时间和人力成本。本专利技术通过卷积神经网络来学习对于人脸图片质量的评价，与目前传统一些图像算法相比无需人工设计特征且鲁棒性更强，特征表达更好，准确率更高。本专利技术选择同一个人在一段视频序列里的最优人脸做识别，减少了低质量图片参与识别造成误识率加大的可能，避免了不必要的识别，节省时间，提高整个识别系统的速度，同时高质量人脸又进一步提高识别的准确率。附图说明图1为人脸质量评价训练阶段流程图。图2为质量评价网络结构图。图3为视频人脸抓拍识别流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本专利技术保护的范围。本专利技术所采用的技术方案是：在三个具有质量等级差异的典型数据集上采用深度学习进行人脸质量评价分数回归训练，获取人脸质量评价模型，将该模型用于人脸抓拍系统，针对多人脸抓拍场景，为了降低系统负载同时不失准确性，将实时接收的视频流按固定可设置帧数划分为若干个抓拍周期，每个抓拍周期内动态调整抓拍质量条件，输出一段时间内质量最高的人脸提供给人脸识别算法进行识别。同时作为质量评价模型本身好坏评价的一种辅助效果评价手段，本专利技术还引入了一种基于加权识别相似度逆序数的质量评价算法误差度量方法。本专利技术的包括以下
技术实现思路
：1、人脸质量评价训练阶段，见图1：1-1、准备整体人脸质量存在等级差异的非人脸、中等质量人脸、高质量人脸三个数据集。1-2、将含人脸的数据集图片用人脸检测器获取人脸矩形区域坐标。1-3、人脸矩形区域输入关键点定位算法获得人脸关键点。1-4、根据人脸关键点将数据集图片旋转缩放变换到固定大小，得到归一化的人脸图像数据。1-5、三个数据集按质量分别赋予0，1，2三个标签，与归一化的人脸图像数据一并作为训练数据输入卷积神经网络进行训练调参，得到人脸质量评价模型。针对上述模型，采用质量评价模型输出的抓拍图与人脸底库模版图比对得到相似度，同一个人的多个人脸质量打分按对应的相似度从小到大排序，所得到的质量分数序列的逆序数作为误差，并用逆序对的相似度之差加权得到最终误差。2、视频人脸抓拍识别阶段：2-1、初始化系统维护人脸状态。2-2、视频图像采集设备获取当前帧图像。2-3、人脸检测器获取图像中所有人脸矩形区域坐标。2-4、人脸区域输入关键点定位算法获得人脸关键点。2-5、根据人脸关键点将人脸区域图旋转缩放变换到固定大小。2-6、将本文档来自技高网...

【技术保护点】
1.一种基于人脸质量评价的人脸抓拍识别方法，其特征在于该方法包括以下步骤：步骤1、初始化系统，维护人脸状态；步骤2、视频图像采集设备获取当前帧图像；步骤3、人脸检测器获取图像中所有人脸矩形区域坐标；步骤4、人脸区域输入关键点定位算法获得人脸关键点；步骤5、根据人脸关键点将人脸区域图旋转缩放变换到固定大小；步骤6、将步骤5中图像输入人脸质量评价模型获得人脸得分；步骤7、使用跟踪算法串联前后帧人脸，更新每个人脸最大得分、最优人脸图像、抓拍张数和识别置信度历史；步骤8、在一个抓拍周期内，若同一个人脸抓拍次数较多，则提高质量阈值，若识别置信度历史最大值大于一定阈值则设置近期不抓拍标志，否则跟踪状态为消失时输出最优人脸图；步骤9、使用最优人脸图进行人脸比对识别；所述的人脸质量评价模型通过以下方式建立：准备整体人脸质量存在等级差异的非人脸、中等质量人脸、高质量人脸三个数据集；将含人脸的数据集图片用人脸检测器获取人脸矩形区域坐标；人脸矩形区域输入关键点定位算法获得人脸关键点；根据人脸关键点将数据集图片旋转缩放变换到固定大小，得到归一化的人脸图像数据；三个数据集按质量分别赋予0，1，2三个标签，与得到归一化的人脸图像数据一并作为训练数据输入卷积神经网络进行训练调参，得到人脸质量评价模型。...

【技术特征摘要】
1.一种基于人脸质量评价的人脸抓拍识别方法，其特征在于该方法包括以下步骤：步骤1、初始化系统，维护人脸状态；步骤2、视频图像采集设备获取当前帧图像；步骤3、人脸检测器获取图像中所有人脸矩形区域坐标；步骤4、人脸区域输入关键点定位算法获得人脸关键点；步骤5、根据人脸关键点将人脸区域图旋转缩放变换到固定大小；步骤6、将步骤5中图像输入人脸质量评价模型获得人脸得分；步骤7、使用跟踪算法串联前后帧人脸，更新每个人脸最大得分、最优人脸图像、抓拍张数和识别置信度历史；步骤8、在一个抓拍周期内，若同一个人脸抓拍次数较多，则提高质量阈值，若识别置信度历史最大值大于一定阈值则设置近期不抓拍标志，否则跟踪状态为消失时输出最优人脸图；步骤9、使用最优人脸图进行人脸比对识别；所述的人脸质量评价模型通过以下方式建立：准备整体人脸质量存在等级差异的非人脸、中等质量人脸、高质量人脸三个数据集；将含人脸的数据集图片用人脸检测器获取人脸矩形区域坐标；人脸矩形区域输入关键点定位算法获得人脸关键点；根据人脸关键点将数据集图片旋转缩放变换到固定大小，得到归一化的人脸图像数据；三个数据集按质量分别赋予0，1，2三个标签，与得到归一化的人脸图像数据一并作为训练数据输入卷积神经网络进行训练调参，得到人脸质量评价模型。2.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：步骤4中的人脸关键点包括左眼、右眼、鼻尖、左嘴角、右嘴角共五个点。3.根据权利要求1所述的一种基于人脸质量评价的人脸抓拍识别方法，其特征在于：在人脸质量评价模型建立过程中：非人脸数据是...

【专利技术属性】
技术研发人员：尚凌辉，张兆生，王弘玥，李磊，
申请(专利权)人：浙江捷尚视觉科技股份有限公司，
类型：发明
国别省市：浙江,33