防视频、照片欺骗的人脸活体检测方法技术

本发明专利技术公开了一种防视频、照片欺骗的人脸活体检测方法，包括以下步骤：对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域；计算各对比区域的稠密光流场；检测是否存在两个及两个以上发生运动的背景对比区域；统计发生运动的各背景对比区域的光流方向角直方图；判断是否出现手持人脸视频攻击；将人脸区域图像的梯度方向直方图特征与整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，并以此训练SVM活体与非活体分类器，然后利用该分类器实现人脸活体检测，以抵御人脸视频攻击，该方法能够实现鲁棒、准确及高效的人脸活体检测。

Live face detection method against video and photo deception

The invention discloses a live face detection method against video and photo deception, which comprises the following steps: face detection is carried out on the video frame obtained by the camera to divide the face area and the background area, and the left, right and upper three background contrast areas are selected in the background area; the dense optical flow field of each contrast area is calculated; whether two or more occurs is detected The background contrast area of motion; the histogram of light flow direction angle of each background contrast area of motion; the judgment of hand-held face video attack; the combination of the gradient direction histogram feature of the face area image and the LBP feature vector of the whole face as the feature vector of the final human face living detection, and the training of SVM living and non living classifiers, and then using The classifier can detect human face in vivo to resist the video attack. The method can achieve robust, accurate and efficient detection of human face in vivo.

【技术实现步骤摘要】
防视频、照片欺骗的人脸活体检测方法
本专利技术属于图像处理领域，涉及一种防视频、照片欺骗的人脸活体检测方法。
技术介绍
门禁系统以预防损失和犯罪为主要目的，发展成较为完整的出入口控制管理系统。门禁系统中的身份识别单元是其重要的组成部分，具有对通行人员进行身份识别和认证的作用，人脸识别因其特殊性和便捷性有着巨大的优势和发展空间，也被越来越多的推广到安防领域，但是，仿造合法用户真实人脸的多种恶意攻击手段也在近年来频繁出现，给人脸识别技术带来了安全隐患，其中最常见的攻击手段有借用合法用户的照片、视频实施攻击方式，国内外学者提出了不同的人脸活体检测方案，分别从人脸生理行为、人脸图像的属性变化以及两者相结合的途径设计了活体检测方法。其中，人脸生理行为现象变化主要关注脸部的运动现象，采用眼部嘴部运动、人机交互和脸部运动等信息来检测真实人脸；人脸图像属性主要关注成像质量和人脸的三维特征，采用纹理描述子、多光谱成像、深度信息等特征来检测真实人脸；结合人脸图像属性与人脸生理行为的活体检测技术则是融合两者的多种相关特征构建活体人脸的判别依据。现有人脸活体检测技术虽然取得到了很好的实验效果，但大多是在特定环境和特种设备条件下进行的，针对不同的攻击方式各有其特点，但检测过程中多需要用户配合，或者依赖于红外、多光谱、深度相机等特殊设备，尚无运用普通单摄像头即可实现人脸活体检测的优势。其中，人机交互需要用户配合；红外、多光谱、深度探测需要额外的设备，因此需要开发出一种检测方法，该方法可以在单摄像头、无特殊设备、无需用户配合的条件下，实现鲁棒、准确、高效的人脸活体检测。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点，提供了一种防视频、照片欺骗的人脸活体检测方法，该方法能够在单摄像头、无特殊设备、无需用户配合的条件下，实现鲁棒、准确及高效的人脸活体检测。为达到上述目的，本专利技术所述的防视频、照片欺骗的人脸活体检测方法包括以下步骤：1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；2)计算各对比区域的稠密光流场VL、VR、VU，以表达视频帧中背景区域的运动现象；3)当VR>0或VL>0或VU>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；4)统计发生运动的各背景对比区域的光流方向角直方图HL、HR、HU；5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击；6)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；7)计算人脸区域图像的梯度方向直方图HOG特征；8)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；9)将步骤7)得到的人脸区域图像的梯度方向直方图特征与步骤8)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。步骤1)的具体操作为：1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。步骤2)的具体操作为：根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，v＝[x,y]T，θ＝tan-1(y/x)(1)其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；构建如下式所示的背景对比区域的稠密光流场：VR＝[v1,v2,...,vm]；VL＝[v1,v2,...,vn]；VU＝[v1,v2,...,vp]ΦR＝[θ1,θ2,...,θm]；ΦL＝[θ1,θ2,...,θn]；ΦU＝[θ1,θ2,...,θp]。步骤4)的具体操作为：4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；4b)分别统计各背景对比区域的光流方向角直方图HL、HR、HU。步骤5)的具体操作为：5a)设两个背景对比区域的光流方向角直方图的相似性通过直方图相交值衡量，其中，直方图相交值d(H1,H2)的表达式为：5b)分别计算两两组合背景对比区域的光流角直方图相似性d(HL,HR)、d(HL,HU)、d(HU,HR)；5c)当步骤5b)计算得到的结果d(HL,HR)、d(HL,HU)、d(HU,HR)中任意一个大于等于70％时，则说明对应两个背景对比区域的相关性较强，即所述两个背景对比区域发生了一致性的抖动现象，则判定出现手持人脸视频欺骗。步骤7)的具体操作为：7a)将人脸图像区域划分成大小相等的4个子图，其中，人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；7b)采用Sobel算子计算子图I(x,y)中各像素的梯度G(x,y)及梯度方向角α(x,y)，其中，其中，Gx(x,y)＝I(x+1,y)-I(x-1,y)，Gy(x,y)＝I(x,y+1)-I(x,y-1)；7c)将0°～360°的梯度方向角等分为18个bin，每个bin包含20度，得各bin的取值区间为(0°～20°)、(21°～40°)、……、(341°～360°)；根据每个像素点的梯度方向θ所属bin区间，将该像素点的梯度幅值累加到相应的直方图bin中，得人脸子图的18维梯度方向直方图；7d)将各人脸子图的18维梯度方向直方图串联，得整张人脸图像的HOG特征向量H′，再对整张人脸图像的HOG特征进行归一化处理，得最终的人脸图像HOG特征Hnorm。步骤7d)中最终的人脸图像HOG特征Hnorm为：其中，ε为常值。步骤8)的具体操作为：8a)将归一化的人脸图像划分成大小相等的4个子图，使人脸图像中的眼睛、鼻子及嘴巴分布于不同的子图中；8b)计算各子图的等价模式LBP特征；8c)统计各子图的等价模式LBP直方图；8d)串联各人脸子图的等价模式LBP直方图，得整张人脸图像的等价模式LBP直方本文档来自技高网...

【技术保护点】
1.一种防视频、照片欺骗的人脸活体检测方法，其特征在于，包括以下步骤：/n1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；/n2)计算各对比区域的稠密光流场V

【技术特征摘要】
1.一种防视频、照片欺骗的人脸活体检测方法，其特征在于，包括以下步骤：
1)对摄像设备获得的视频帧进行人脸检测，以划分出人脸区域和背景区域，在背景区域中选出左、右、上三个背景对比区域L、R、U；
2)计算各对比区域的稠密光流场VL、VR、VU，以表达视频帧中背景区域的运动现象；
3)当VR>0或VL>0或VU>0时，则判定背景区域存在运动现象，检测是否存在两个及两个以上发生运动的背景对比区域；
4)统计发生运动的各背景对比区域的光流方向角直方图HL、HR、HU；
5)利用直方图相交法计算背景对比区域的光流方向角直方图的相似性，当计算得到的结果大于等于预设相似性值时，则背景对比区域出现一致性抖动现象，即判定为出现手持人脸视频攻击；
6)将步骤1)中采集到的人脸区域图像转化为灰度图，并归一化至128*128像素大小；
7)计算人脸区域图像的梯度方向直方图HOG特征；
8)将归一化的人脸图像分为四等分，分别提取各子图局部二值模式的等价模式，统计等价模式的LBP直方图特征，将各子图的LBP特征串联成整张人脸的LBP特征向量；
9)将步骤7)得到的人脸区域图像的梯度方向直方图特征与步骤8)得到的整张人脸的LBP特征向量相组合作为最终人脸活体检测的特征向量，再利用所述最终人脸活体检测的特征向量训练SVM活体与非活体分类器，然后利用训练后的SVM活体与非活体分类器实现人脸活体检测，以抵御人脸视频攻击。


2.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤1)的具体操作为：
1a)对摄像设备获得的视频帧进行人脸检测，以获取到的人脸区域高度H和宽度W为基准，分别向人脸左边、右边和上部区域扩展，其中，将人脸右区域扩展一个人脸的宽度W，将人脸左区域扩展一个人脸的宽度W，以排除肩部对背景的干扰，将人脸下部区域向上扩展一个人脸的高度H，以排除头发对背景的干扰；
1b)根据1a)的扩展结果，参考人脸区域的位置划分扩展背景，以形成背景对比矩形区域；
1c)将所有背景对比区域中高度、宽度的最小值作为归一化背景对比矩形区域的尺度，得大小统一的各背景对比区域。


3.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤2)的具体操作为：
根据稠密光流场定义，按照式(1)计算各背景对比区域中所有像素的光流矢量v及光流方向角θ，其中，
v＝[x,y]T，θ＝tan-1(y/x)(1)
其中，x为水平方向的光流幅值，y为垂直方向的光流幅值；
构建如下式所示的背景对比区域的稠密光流场：
VR＝[v1,v2,...,vm]；VL＝[v1,v2,...,vn]；VU＝[v1,v2,...,vp]
ΦR＝[θ1,θ2,...,θm]；ΦL＝[θ1,θ2,...,θn]；ΦU＝[θ1,θ2,...,θp]。


4.根据权利要求1所述的防视频、照片欺骗的人脸活体检测方法，其特征在于，步骤4)的具体操作为：
4a)设光流方向角θ的像素分布直方图由B＝360个bin构成，当θ值在范围时，则对应于像素分布直方图的第b个bin，其中，0≤θ<360°，1≤b≤B；...

【专利技术属性】
技术研发人员：孔月萍，白俊伟，戚艳军，王佳婧，刘霞，刘楚，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：陕西;61