人脸活体检测方法、系统、设备及可读存储介质技术方案

本发明专利技术公开了一种人脸活体检测方法，通过人脸检测得到人脸框以及人脸关键点的坐标，并通过人脸关键点的坐标进行人脸对齐；使用人脸追踪技术关联连续视频帧中相同的人脸ID；将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。具有安全系数高、用户体验好，鲁棒性强的优点。

Methods, systems, devices and readable storage media of human face living detection

【技术实现步骤摘要】
人脸活体检测方法、系统、设备及可读存储介质
本专利技术涉及图像识别
，特别涉及一种人脸活体检测方法、系统、设备及可读存储介质。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，该技术正越来越广泛的应用于安防、金融、教育等各个行业领域中。目前主流的人脸识别技术只能区分不同人脸之间的区别，而无法辨别是否用户本人在使用人脸识别。当用户的人脸信息泄露，不法分子就可以通过用户的人脸信息制作照片、视频、三维人脸模型来欺骗人脸识别系统，造成用户的财产和信息损失，因此需要人脸活体检测技术来判别进行识别的人脸的载体是否是真实的人，还是照片、视频、面具等非活体攻击手段。现有的单目活体检测的方法有：1.提取单帧图片中人脸的纹理信息或屏幕中的摩尔纹；2.通过深度学习进行单帧单目人脸估计；3.通过深度学习进行多帧单目人脸估计。其中，纹理特征与环境光照和相机类型有关，摩尔纹与相机的分辨率有关，导致该类特征的鲁棒性较差，无法应对多环境下多类型相机的活体检测；基于深度学习的单帧人脸图像的人脸深度估计算法也只考虑人脸区域的特征，且也与图像的纹理强相关，特征的鲁棒性依然不高；基于深度学习的多帧人脸图像的人脸深度估计算法融合了多帧图像中的信息，在一定程度上提高了深度估计的鲁棒性，但是依然只考虑了人脸区域的特征，没有引入更鲁棒的特征。
技术实现思路
本专利技术要解决的技术问题是如何提供一种鲁棒性好的人脸活体检测方法、系统、设备及可读存储介质。为了解决上述技术问题，本专利技术的技术方案为：<br>第一方面，本专利技术提出一种人脸活体检测方法，包括步骤：通过人脸检测得到人脸框以及人脸关键点的坐标，并通过人脸关键点的坐标进行人脸对齐；使用人脸追踪技术关联连续视频帧中相同的人脸ID；将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。优选地，将人脸框面积大于图片的预设比例的图片以及人脸长宽小于预设大小的图片删除。优选地，在通过Sobel算子对区域提取Sobel特征的步骤之前，还包括对所述区域使用高斯算子进行去噪。优选地，在进行人脸对齐之后还包括步骤：过滤劣质的人脸图片。优选地，在步骤通过Sobel算子对人脸区域提取Sobel特征之前，还包括将原图中的人脸框中心向外扩充，以将人脸框扩大。优选地，对于每一张输入的图像A，Gx和Gy分别与图像A做卷积得到之后输出图像AG，每一个像素的值为：其中Gx表示x方向的卷积核，Gy表示y方向的卷积核。优选地，通过多任务级联卷积神经网络来检测得到人脸框以及人脸关键点的坐标。另一方面，本专利技术还提出一种人脸活体检测系统，包括：人脸检测模块：通过人脸检测得到人脸框以及人脸关键点的坐标，并通过人脸关键点的坐标进行人脸对齐；人脸追踪模块：使用人脸追踪技术关联连续视频帧中相同的人脸ID；图获取模块：将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；活体检测模块：将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；投票模块：将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。又一方面，本专利技术提出了一种人脸活体检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的人脸活体检测方法的步骤。再一方面，本专利技术还提出一种人脸活体检测的可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时间实现上述的人脸活体检测方法的步骤。采用上述技术方案，将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果，完成对一人脸ID进行活体检测；本专利通过基于单目相机实现活体检测，无需额外的设备，成本低，适用范围广；加入了除人脸以外的特征，提高了模型的鲁棒性；基于多相机采集的大量数据和深度学习的方法，克服了传统单目活体方法不适用于不同相机和场景的问题；采用人脸优选和多帧投票策略，提高了实际应用时算法的稳定性。此外，整个活体判断过程无需用户配合，且速度较快，能给用户带来较好的体验感。附图说明图1为本专利技术人脸活体检测方法一实施例的步骤流程图；图2为本专利技术人脸活体检测方法一实施例的Sobel算子的x方向的卷积核；图3为本专利技术人脸活体检测方法一实施例的Sobel算子的y方向的卷积核。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。参照图1，本专利技术提出一种人脸活体检测方法，包括步骤：通过人脸检测得到人脸框以及人脸关键点的坐标，并通过人脸关键点的坐标进行人脸对齐，过滤劣质的人脸图片。；使用人脸追踪技术关联连续视频帧中相同的人脸ID；将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；对区域使用高斯算子进行去噪。将原图中的人脸框中心向外扩充，以将人脸框扩大。通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；将一人脸ID预设帧数的Sobel特征图及叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。具体地，将人脸框面积大于图片的预设比例的图片以及人脸长宽小于预设大小的图片删除。具体地，对于每一张输入的图像A，Gx和Gy分别与图像A做卷积得到之后输出图像AG，每一个像素的值为：其中Gx表示x方向的卷积核，Gy表示y方向的卷积核。具体地，通过多任务级联卷积神经网络来检测得到人脸本文档来自技高网...

【技术保护点】
1.一种人脸活体检测方法，其特征在于，包括步骤：/n人脸关键点及人脸框检测，并进行人脸对齐；/n使用人脸追踪技术关联连续视频帧中相同的人脸ID；/n将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；/n将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；/n将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，当判断为攻击的帧数多时，则认定对象为非活体。/n

【技术特征摘要】
1.一种人脸活体检测方法，其特征在于，包括步骤：
人脸关键点及人脸框检测，并进行人脸对齐；
使用人脸追踪技术关联连续视频帧中相同的人脸ID；
将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；
将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；
将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，当判断为攻击的帧数多时，则认定对象为非活体。


2.根据权利要求1所述的人脸活体检测方法，其特征在于：在通过Sobel算子对区域提取Sobel特征的步骤之前，还包括对所述区域使用高斯算子进行去噪。


3.根据权利要求1所述的人脸活体检测方法，其特征在于：在步骤通过Sobel算子对人脸区域提取Sobel特征之前，还包括将原图中的人脸框中心向外扩充，以将人脸框扩大。


4.根据权利要求1所述的人脸活体检测方法，其特征在于：
对于每一张输入的图像A，Gx和Gy分别与图像A做卷积得到之后输出图像AG，每一个像素的值为：其中Gx表示x方向的卷积核，Gy表示y方向的卷积核。


5.根据权利要求1至3任一项所述的人脸活体检测方法，其特征在于：通过多任务级联卷积神经网络来检测得到人脸框以及人脸关键点的坐标。
<...

【专利技术属性】
技术研发人员：黄泽斌，刘小扬，何学智，王心莹，
申请(专利权)人：新大陆数字技术股份有限公司，
类型：发明
国别省市：福建;35