一种基于深度学习的多分类器融合的人脸活体识别方法技术

本发明专利技术公开了一种基于深度学习的多分类器融合的人脸活体识别方法，使用传统的边缘特征、眼部特征等与深度神经网络特征分别训练三种分类器，然后利用这些分类器通过设计好的程序流程，进行人脸活体识别。该方法针对现实场景中的活体识别问题，设计了边框检测、眨眼检测和摩尔纹检测，并创新性地将上述三个检测的结果按照一定逻辑进行融合，得到人脸活体识别结果，具有良好抗欺骗能力、优秀抗干扰能力、仅需用户少量配合的、且仅需普通摄像头(无需外加设备)等优点。本发明专利技术主要有边框检测、眨眼检测、摩尔纹检测、融合判断流程等步骤，为现实推广人脸活体识别的应用做出了一定的贡献。

A Face Living Recognition Method Based on Deep Learning and Multi-classifier Fusion

The present invention discloses a face living recognition method based on deep learning and multi-classifier fusion. Three classifiers are trained respectively by using traditional edge features, eye features and depth neural network features, and then face living recognition is carried out by using these classifiers through a designed program flow. Aiming at the problem of living recognition in real scenes, this method designs border detection, blink detection and moire pattern detection, and innovatively fuses the above three detection results according to certain logic to get the result of living face recognition. It has good anti-deception ability, excellent anti-interference ability, only a small amount of user cooperation, and only needs ordinary camera (without additional equipment). ) Advantages. The invention mainly includes the steps of frame detection, blink detection, moire pattern detection and fusion judgment process, and has made a certain contribution to the practical popularization of the application of face recognition in vivo.

【技术实现步骤摘要】
一种基于深度学习的多分类器融合的人脸活体识别方法
本专利技术涉及机器学习、深度学习和模式识别等科研领域，尤其涉及一种基于深度学习的多分类器融合的人脸活体识别方法。
技术介绍
人脸活体检测成为人脸识别的关键组成部分，它对于任何一个生物检测系统来说是十分重要和必要的一个环节，它可以保证生物检测系统能够安全有效地工作；对于无人监督的人脸识别系统应用来说，自动地抵抗照片和视频欺骗是人脸识别领域中一个迫切需要解决的问题。活体人脸的检测主要有以下方法：三维深度信息分析、脸部运动的光流估计、人脸和语音混合识别、傅里叶频谱分析、眨眼检测、热红外成像识别等。以及上述方法中几种方法的融合。随着深度学习的发展，也有一些学者提出将上述方法和深度学习方法相结合的方法。相关技术主要有人脸图像的预处理，人脸区域检测，特征提取，活体分类等。特征提取是人脸活体识别中最重要的一步，目前主要存在基于人脸区域的特征提取方法，基于频谱的特征提取方法，基于运动信息的特征提取方法和基于深度学习的特征提取方法等等。对于分类器的设计，常用的分类方法有支持向量机，神经网络等。总的来说目前的人脸活体识别算法研究着重于特征的提取和分类器的设计，大部分方法不仅无法对抗视频攻击，而且需要额外设备的辅助。由于实际场景下需要在照片和视频攻击中由于电子设备显示屏的原因经常出现摩尔纹，或者手机边框，因此本专利技术综合边框检测，摩尔纹检测再加上可抵抗静态图片攻击的眨眼检测，可以满足现有活体识别的应用场景需求。
技术实现思路
本专利技术的目的在于针对目前基于视觉的人脸活体识别方法存在的不足，提出一种基于深度学习的多分类器融合的人脸活体识别方法，该方法基于传统边框检测、眨眼检测和深度摩尔纹检测进行人脸活体的识别。本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的多分类器融合的人脸活体识别方法，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。进一步的，该方法包括如下步骤：(1)眨眼检测：对视频F中的待检测视频帧fi进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度Ui，统计人眼开合度Ui小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测；(2)边框检测：通过眨眼检测后，对待检测视频帧fi进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；(3)摩尔纹检测：通过边框检测后，构建并训练深度卷积神经网络，训练后，输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。进一步的，所述眨眼检测具体包括如下步骤：(1.1)输入一段视频F，取待检测视频帧fi；(1.2)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测视频帧fi进行人脸关键点检测，获得眼部区域关键点坐标；(1.3)使用上述眼部区域关键点坐标计算人眼开合度Ui，统计Ui小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测。进一步的，所述边框检测具体包括如下步骤：对取待检测视频帧fi进行灰度化处理，使用canny边缘提取算法提取灰度图的边缘；将边缘图进行hough变换；在hough变换图中寻找n个像素以上的直线形成的点；统计直线检测结果中直线包含像素的个数，若大于阈值threshold5，则判断为该图片检测为有边框；计算出现边框的帧数，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体。进一步的，所述摩尔纹检测具体包括如下步骤：使用手机对着电脑屏幕翻拍人脸图片，图片来自公开人脸数据集，以获取带有摩尔纹的人脸图片；使用标注软件对带有摩尔纹的人脸图片中有摩尔纹的区域进行标注；将标注区域裁切出来，并调整尺寸至固定大小，作为深度卷积神经网络训练的正样本；将公开人脸数据集的原图片，即不带有摩尔纹的人脸图片裁切，调整尺寸至同样固定大小，作为深度卷积神经网络训练的负样本；利用上述正样本和负样本进行训练，得到深度卷积神经网络分类器；对待检测视频帧fi进行灰度化处理，调整尺寸，并划分成m*n个网格；将每一个小网格区域Si，输入训练好的深度卷积神经网络分类器中，输出其为摩尔纹区域的概率pi；计算上述fi计算总的平均概率值P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。本专利技术的有益效果是：本专利技术使用传统的边缘特征、眨眼运动特征与深度特征分别训练三种检测器，然后利用这些检测器采用一定的识别逻辑构建活体识别分类器，进行人脸活体识别。该活体识别方法使用了近年来流行的深度学习方法提取深度特征，并与人脸关键点(眼睛)区域的结构特征以及图像边缘特征进行融合，同时提出创新性的融合方法，使得人脸活体的识别更加鲁棒。本专利技术主要有眨眼检测、边框检测、摩尔纹检测、多分类器融合的活体识别方法等步骤。使用该人脸识别方法，可在但单个普通摄像头且用户较少配合的场景下获得较好的效果，为现实场景下人脸活体识别算法的应用做出了一定的贡献。附图说明图1是人脸活体识别的主要流程图。图2是68个人脸关键点展示图；图3(a)-图3(c)是眨眼检测中的人眼开合度计算模型；图4(a)是不带有摩尔纹的人脸图片；图4(b)是带有摩尔纹的人脸图片；图5是深度神经网络进行摩尔纹分类流程图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。本专利技术提供的一种基于深度学习的多分类器融合的人脸活体识别方法，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。详细步骤如下：1.多分类器融合的活体识别算法流程，如图1：(a)眨眼检测：对视频F中的待检测视频帧fi进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度Ui，统计人眼开合度Ui小于阈值0.25的次数z，z小于阈值2则识别为非活体，否则进行下一步检测；(b)边框检测：通过眨眼检测后，对待检测视频帧fi进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值0.1，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；(c)摩尔纹检测：通过边框检测后，构建深度卷积神经网络，使用数据进行深度卷积神经网络参数的训练；输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值0.593，则识别为非活体，否则识别为活体。2.所述眨眼检测具体包括如下步骤：(a)输入一段视频F，取待检测视频帧fi；(b)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测帧fi进行人脸关键点检测，获得眼部区域关键点坐标，如图2；(c)使用上述眼部区域关键点坐标计算人眼开合度Ui，统计Ui小于阈值0本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。

【技术特征摘要】
1.一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，该方法为利用传统边缘特征的边框检测，收集数据并训练深度神经网络的摩尔纹检测，并结合使用人眼关键点位置的眨眼检测，进行多分类器融合的人脸活体分类识别。2.根据权利要求1所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，该方法包括如下步骤：(1)眨眼检测：对视频F中的待检测视频帧fi进行人脸关键点检测，获得眼部区域关键点坐标，由眼部区域关键点坐标计算人眼开合度Ui，统计人眼开合度Ui小于阈值threshold1的次数z，z小于阈值threshold2则识别为非活体，否则进行下一步检测；(2)边框检测：通过眨眼检测后，对待检测视频帧fi进行canny边缘检测，然后进行hough变换，计算出现边框的帧数占总帧数的比例，若小于阈值threshold3，则通过边框检测，进入下一步摩尔纹检测，否则识别为非活体；(3)摩尔纹检测：通过边框检测后，构建并训练深度卷积神经网络，训练后，输入人脸图片后，对于每一小块区域，提取神经网络softmax层的概率值作为分类结果，对所有图片块计算概率加权和P，若P大于阈值threshold4，则识别为非活体，否则识别为活体。3.根据权利要求2所述的一种基于深度学习的多分类器融合的人脸活体识别方法，其特征在于，所述眨眼检测具体包括如下步骤：(1.1)输入一段视频F，取待检测视频帧fi；(1.2)眼部区域关键点坐标获取：使用dlib库中人脸关键点检测算法对待检测视频帧fi进行人脸关键点检测，获得眼部区域关键点坐标；(1.3)使用上述眼部区域关键点坐标计算人眼...

【专利技术属性】
技术研发人员：毛颖，胡浩基，王曰海，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33