人脸活体检测方法、系统、设备及可读存储介质技术方案

本发明专利技术公开了一种人脸活体检测方法、系统、设备及可读存储介质。检测图片中的人脸关键点及人脸框检测，使用人脸追踪技术关联连续视频帧中相同的人脸ID；采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；进而判定将该人脸ID是否为活体。相对于其他的活体检测方法，本系统提出的方法使用深度学习算法所提取的特征具有更好的通用性，也具有更好的泛化能力，从而对各种场景的攻击都具有更好的鲁棒性，活体判断过程无需用户配合，且速度较快，能给用户带来较好的体验感。

Methods, systems, devices and readable storage media of human face living detection

【技术实现步骤摘要】
人脸活体检测方法、系统、设备及可读存储介质
本专利技术涉及图像识别
，特别涉及一种人脸活体检测方法、系统、设备及可读存储介质。
技术介绍
近年来，随着深度学习算法的发展，人脸识别技术得到了广泛的应用，“刷脸”的场景也越来越多，比如门禁，刷脸支付，刷脸考勤等。然而，前主流的人脸识别技术只能区分不同人脸之间的区别，而无法辨别是否用户本人在使用人脸识别。当用户的人脸信息泄露，不法分子就可以通过用户的人脸信息制作照片、视频、三维人脸模型来欺骗人脸识别系统，造成用户的财产和信息损失。而活体检测是用于防止这些欺骗的有效方法。传统的活体检测方案主要包括交互式活体检测、单目静默式活体检测，双目静默式活体检测等等。交互式活体检测主要通过用户交互的方式来实现活体检测功能，存在用户体验差，且无法应对视频回放攻击。单目静默式活体检测法通过提取图像中人脸的纹理、摩尔纹、边框等特征来区分真人和攻击，然而纹理特征与相机的类型有很大关系，不同类型的相机下真人和攻击纹理的区别很大，这会导致该项特征的泛化性较差，而摩尔纹和边框特征则可以通过特殊角度的摆拍来避免该类特征的出现，因此单目活体检测的安全等级和泛化性都不高，无法应用于安防、金融等需要极高准确率的应用场景上；双目活体检测则采用额外的红外相机来得到红外人脸图像，通过提取红外图和RGB图中真实人脸和攻击人脸之间的区分性特征来实现活体检测功能，精度相比于单目活体有所提升，但是仍未提取真人人脸和攻击人脸的区分性特征，即人脸的深度信息，因此比较难以抵抗3D攻击。
技术实现思路
<br>本专利技术要解决的技术问题是如何提供安全等级高、鲁棒性好的人脸活体检测方法、系统、设备及可读存储介质。为了解决上述技术问题，第一方面，本专利技术的技术方案为：一种人脸活体检测方法，其特征在于，包括步骤：人脸关键点及人脸框检测，并进行人脸对齐；使用人脸追踪技术关联连续视频帧中相同的人脸ID；采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。优选地，对图片进行活体判断的深度学习网络使用Resnet作为基础网络，所述深度学习网络采用人脸图像和所述人脸深度图的双输入通道，两个输入分支在分别进行特征提取后，通过se-module对两个分支提取出的特征进行选择性激发融合，再经过数层卷积对融合后的特征进行特征提取，获得活体判断结果。优选地，所述深度学习网络的目标函数为focal损失函数。优选地，人脸关键点中眼睛和嘴角所有点的实际深度，计算这些点的实际深度的均值，取归一化上限为均值加上固定值，下限为均值减去所述固定值，将人脸区域深度归一化为像素值在0～255区间的灰度图。优选地，对于实际深度大于上限和小于下限位置的灰度值置为0。优选地，归一化公式为：其中，V为深度归一化后的灰度值，范围为0～255，Dreal为人脸区域的实际深度，Dmax为人脸实际深度的上限，Dmin为人脸实际深度的下限。优选地，在进行人脸对齐之后还包括步骤：过滤劣质的人脸图片。另一方面，本专利技术还提出一种人脸活体检测系统，包括：人脸检测模块，人脸关键点及人脸框检测，并进行人脸对齐；人脸追踪模块，使用人脸追踪技术关联连续视频帧中相同的人脸ID；深度图像模块，采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；活体检测模块，将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；投票模块，将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。再一方面，本专利技术还提出一种人脸活体检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的人脸活体检测方法的步骤。又一方面，本专利技术还提出了一种人脸活体检测的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的人脸活体检测方法的步骤。采用上述技术方案，检测人脸关键点及人脸框检测，使用人脸追踪技术关联连续视频帧中相同的人脸ID；采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；进而判定将该人脸ID是否为活体。本专利通过深度相机快速取得了真人和攻击之间的具有很高区分性的特征——人脸深度，之后通过深度学习网络进行特征学习，能有效的区分各种类型的攻击和真人，性能优于常见的交互式活体检测、单目、双目活体检测。此外，本技术方案的整个活体判断过程无需用户配合，且速度较快，能给用户带来较好的体验感；相比于其他3D活体算法，同时改进了网络结构，同时考虑了RGB和深度的特征，模型鲁棒性更高。附图说明图1为本专利技术人脸活体检测方法一实施例的步骤流程图；图2为本专利技术人脸活体检测方法一实施例中人脸106个关键点示意图；图3为本专利技术人脸活体检测方法一实施例中未添加mask的人脸图；图4为本专利技术人脸活体检测方法一实施例中添加mask后的人脸图；图5为本专利技术人脸活体检测方法一实施例中的深度学习网络结构示意。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。参照图1，为了解决上述技术问题，第一方面，本专利技术的技术方案为：一种人脸活体检测方法，其特征在于，包括步骤：S10:人脸关键点及人脸框检测，并进行人脸对齐，过滤劣质的人脸图片；S20:使用人脸追踪技术关联连续视频帧中相同的人脸ID；S30:采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；S40:将一人脸ID预设帧数的RGB人脸图像和人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；具体地，对图片进行活体判断的深度学习网络使用Resnet(残差网络)作为基础网络，深度学习网络采用人脸图像和人脸深度图的双输入通道，两个输入分支在分别进行特征提取后，通过se-module对两个分支提取出的特征进行选择性激发融合，再经过数层卷积对融合后的特征进行特征提取，获得活体判断结果。深度学习网络的目标函数为focal损失函数。需要说明的是，Resnet(残差网络)是由来自MicrosoftResearch的4位学者提出的卷积神本文档来自技高网...

【技术保护点】
1.一种人脸活体检测方法，其特征在于，包括步骤：/n人脸关键点及人脸框检测，并进行人脸对齐；/n使用人脸追踪技术关联连续视频帧中相同的人脸ID；/n采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；/n将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；/n将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。/n

【技术特征摘要】
1.一种人脸活体检测方法，其特征在于，包括步骤：
人脸关键点及人脸框检测，并进行人脸对齐；
使用人脸追踪技术关联连续视频帧中相同的人脸ID；
采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；
将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；
将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。


2.根据权利要求1所述的人脸活体检测方法，其特征在于：对图片进行活体判断的深度学习网络使用Resnet作为基础网络，所述深度学习网络采用人脸图像和所述人脸深度图的双输入通道，两个输入分支在分别进行特征提取后，通过se-module对两个分支提取出的特征进行选择性激发融合，再经过数层卷积对融合后的特征进行特征提取，获得活体判断结果。


3.根据权利要求2所述的人脸活体检测方法，其特征在于：所述深度学习网络的目标函数为focal损失函数。


4.根据权利要求1至3任一项所述的人脸活体检测方法，其特征在于：人脸关键点中眼睛和嘴角所有点的实际深度，计算这些点的实际深度的均值，取归一化上限为均值加上固定值，下限为均值减去所述固定值，将人脸区域深度归一化为像素值在0～255区间的灰度图。


5.根据权利要求4所述的人脸活体检测方法，其特征在于：对于实际深度大于上限和小于下限位置的灰度值置...

【专利技术属性】
技术研发人员：何学智，林林，刘小扬，黄泽斌，
申请(专利权)人：新大陆数字技术股份有限公司，
类型：发明
国别省市：福建;35