一种人脸活体检测方法技术

本发明专利技术公开了一种人脸活体检测方法，所述方法包括：获取目标对象的可见光图像和深度图像；利用人脸关键点检测算法检测到人脸区域以及人脸的5个关键点，按照关键点的坐标裁剪出可见光图像和深度图像对应区域的局部图像；对裁剪出来的局部图像分别输入到局部特征网络分支中去，对可见光和深度全局图像分别输入到全局特征的网络分支中；在进行不同网络分支特征叠加之后,进行特征融合，利用分类函数进行二分类，得到第一处理结果和第二处理结果；最后根据第一处理结果和第二处理结果，确定目标对象是否为人脸活体。对象是否为人脸活体。对象是否为人脸活体。

【技术实现步骤摘要】
一种人脸活体检测方法


[0001]本专利技术涉及图像识别领域，特别涉及一种人脸活体检测方法。

技术介绍

[0002]生物识别系统在诸如手机认证、门禁等领域中大量应用，生物识别系统的安全经受着严峻的考验，而人脸活体检测作为生物识别系统中重要的一项技术，也引来越来越多的关注。活体检测是指通过特征筛选来判断通过镜头获取的生物特征信息是否是从对应的合法活体用户身上取得。而基于人脸的活体检测的主要方法便是通过区分活体样本上的生理信息,这些生理信息作为重要的区分条件来区分纸张、硅脂塑料等样本载体,同样也用于区分纸张攻击、视频攻击和面具攻击等攻击方法。活体样本与非活体
·
样本主要差别体现在颜色纹理、运动变形、材料以及图像质量等方面。机器学习时代的活体检测算法主要是针对性地设计特征,再通过分类器逐步分离出非活体样本。而深度学习则直接提供了提取特征的办法,通过各式的神经网络来提取活体样本与非活体样本的特征,达到分类目的。与此同时,活体检测算法在嵌入式设备的运行效率和效果也值得关注,有限的计算能力是制约算法执行速度的关键点。基于人脸的活体检测算法大致可以分为两类，第一类就是传统的机器学习方法，另外一类则是基于深度神经网络的方法。对于传统的机器学习算法，主要利用手工特征，比如LBP,HoG,SIFT等特征，然后利用像SVM和LDA分类器进行分类。但是由于这些传统的方法对光照、姿态等变化特别敏感，不能学习到丰富的特征表达，因此不能很好的区分真假人脸。对于一些基于深度神经网络的算法，有些方法利用LSTM机制学习时序信息，这种方法要求网络输入连续的视频帧。有些方法将输入的图像划分为不同图像块，并且进行整体图像的深度图估计，该方法的精确性严重依赖深度图的估计，而图像的深度估计技术本来就还不够成熟。有些方法则利用级联的方法将多个网络的结果结合在一起，但是这种方法泛化性较差，而且如何级联以及如何处理多个网络的结果比较重要。一些方法则结合可见光，深度，红外信息进行分类，但是将16bit深度图像和红外图像转换为8bit图像，这造成了相应的信息损失，而且该方法只利用了图像的局部信息，然后对每个局部信息进行分类，最终的结果为所有局部信息结果的平均值，忽略了全局信息，另外该方法在固定像素位置裁剪图像块，使得裁剪出来的图像块每次都是人脸不同的区域。一些方法则加入一些人为配合(如眨眼睛)的特征进行辅助检测，这种方法严重依赖人为配合，降低了用户的使用感受。所以高效准确地判别人脸图像的真伪来抵抗人脸欺骗攻击已经是当今人脸识别系统必不可少的环节。
[0003]现有技术基本上都是采用单模态可见光相机来进行活体检测，但是可见光相机受很多因素的影响，比如常见的光线变化，姿态变化等等，另外对于3维的人脸攻击难以区分。第二，很多活体检测算法采用传统底层特征对真假人脸进行分类，但是这些特征不够鲁棒，经常导致分类失败。第三、很多方法利用深度图像信息时，为了方便，将16bit深度图像转换为8bit,这样会造成一定程度的信息丢失。第四、可见光图像能够捕捉到更丰富的细节信息，而深度图像对距离信息比较敏感。
[0004]因此本技术主要结合可见光和原始的16bit深度图像的优势来对真假人脸进行分类，并且提出一种多流神经网络学习到更丰富的语义特征，从而达到识别真假人脸的目的。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种人脸活体检测方法，本方法主要结合可见光和16bit深度图像，采用深度学习的方法，提出一种多流网络的特征学习结构，并且结合全局和局部特征，在学习到鲁棒的特征表达之后，采用softmax函数进行分类，从而识别真假人脸。
[0006]本专利技术提供一种人脸活体检测方法，技术方案如下：
[0007]获取目标对象的可见光图像和深度图像的全局图像；
[0008]利用人脸关键点检测算法检测到人脸的5个关键点，该5个关键点为左右眼、鼻子和左右嘴角，按照各个关键点的坐标裁剪出可见光图像和深度图像对应区域的局部图像；
[0009]将各个所述局部图像分别输入到局部特征网络的分支中去，将所述可见光图像和深度图像的全局图像分别输入到全局特征网络的分支中；
[0010]在进行不同网络分支特征叠加之后,进行特征融合，利用分类函数进行二分类，得到第一处理结果和第二处理结果；
[0011]根据所述第一处理结果和所述第二处理结果，确定目标对象是否为人脸活体。
[0012]其中，所述第一处理结果为第一概率值，所述第一概率值是根据可见光图像和深度图像所确定的目标对象为假人脸的概率；
[0013]所述第二处理结果为第二概率值，所述第二概率值是根据可见光图像和深度图像所确定的目标对象为人脸活体的概率。若所述第二概率值大于第一概率值，则确定所述目标对象为所述人脸活体。
[0014]所述局部特征网络包括第一神经网络和第二神经网络，所述第一神经网络为可见光图像局部特征网络，提取可见光局部图像特征；所述第二神经网络为深度图像局部特征网络，提取深度图像局部特征。
[0015]所述全局特征网络包括第三神经网络和第四神经网络，所述第三神经网络为可见光图像全局特征网络，提取可见光全局图像特征；所述第四神经网络为深度图像全局特征网络，提取深度全局图像特征。
[0016]优选的，所述局部特征网络在对所述可见光图像和深度图像的局部图像的处理过程中，融合所述全局特征网络从所述可见光图像和深度图像的全局图像中提取的特征；
[0017]优选的，所述特征融合的方式为按照每个神经网络的特征图通道进行堆叠处理,每个神经网络特征图的最后通道数为n,4个神经网络分支进行叠加,得到4n个通道的特征图；其中，所述n为正整数。
[0018]优选的，所述人脸检测算法分别得到人脸区域以及人脸的5个关键点坐标，所述5个关键点分别为左眼、右眼、鼻子、左嘴角、右嘴角，将可见光图像和深度图像划分成4个互不重叠的区域。
[0019]优选的，所述深度图像的颜色深度为16位。
[0020]优选的，所述分类函数为softmax函数，利用softmax函数进行二分类，得到每个图像特征的置信度，结合后输出为第一处理结果和第二处理结果。
[0021]与现有技术相比，本专利技术的益处有：
[0022]1、结合全局和局部特征，分类效果更好；
[0023]1、利用关键点进行裁剪局部区域，关键点部分特征更加明显；
[0024]3、结合可见光、深度图像的特征能够防御更多的攻击类别；
[0025]4、16bit深度图像不会损失任何信息；
[0026]5、16bit深度图像能够测量出相机距离目标的距离，能够使得检测目标与相机距离可控，便于算法的部署。
附图说明
[0027]图1为一种人脸活体检测方法流程图；
[0028]图2为人脸活体检测方法的网络结构图；
[0029]其中，
①-⑩
的结构为SEresnext模块，的结构为Squeeze and Excitation模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸活体检测方法，其特征在于：获取目标对象的可见光图像和深度图像的全局图像；利用人脸关键点检测算法检测到人脸的5个关键点，该5个关键点为左右眼、鼻子和左右嘴角，按照各个关键点的坐标裁剪出可见光图像和深度图像对应区域的局部图像；将各个所述局部图像分别输入到局部特征网络的分支中去，将所述可见光图像和深度图像的全局图像分别输入到全局特征网络的分支中；在进行不同网络分支特征叠加之后,进行特征融合，利用分类函数进行二分类，得到第一处理结果和第二处理结果；根据所述第一处理结果和所述第二处理结果，确定目标对象是否为人脸活体。2.根据权利要求1所述的人脸活体检测方法，其特征在于：所述第一处理结果为第一概率值，所述第一概率值是根据可见光图像和深度图像所确定的目标对象为假人脸的概率；所述第二处理结果为第二概率值，所述第二概率值是根据可见光图像和深度图像所确定的目标对象为人脸活体的概率。3.根据权利要求2所述的人脸活体检测方法，其特征在于：所述根据所述第一处理结果和所述第二处理结果，确定所述目标对象是否为所述人脸活体，包括：若所述第二概率值大于第一概率值，则确定所述目标对象为所述人脸活体。4.根据权利要求1所述的人脸活体检测方法，其特征在于：所述局部特征网络包括第一神经网络和第二神经网络，所述第一神经网络为可见光图像局部特征网络，提取可见光局部图像特征；所述第二神经网络为深度图像局...

【专利技术属性】
技术研发人员：朱程利，余小欢，洪刘根，冯丽，张燕，陈嵩，
申请(专利权)人：浙江光珀智能科技有限公司，
类型：发明
国别省市：