一种非交互式单目活体检测方法技术

本发明专利技术公开了一种非交互式单目活体检测方法，属于安防识别领域，应用于RGB人脸图像和IR人脸图象的活体检测中，解决只具有单目RGB摄像头的硬件设备在人脸识别及身份验证中对活体检测的强烈需求，如人机验证，移动应用，web应用以及众多移动智能终端等领域。主要包括采集连续图像、人脸检测得到Face集合和Background集合、均值化滤波去噪、巴特沃斯滤波器滤除非心率频段的信号、通过面部PPG‑Map的方案得到二维功率信噪谱图像、最后将活体和假体面部的数据在深度学习模型中建立分类器，完成真实场景中的活体检测目标。该方法在使用成本和有效性上达到了良好的平衡，能有效防止人像照片、人像视频、面具等伪造的人脸身份攻击。

【技术实现步骤摘要】
一种非交互式单目活体检测方法
本专利技术提供一种非交互式单目活体检测方法，属于安防识别领域，应用于RGB人脸图像和IR人脸图象的活体检测中。
技术介绍
近年来，人脸识别技术商业化应用愈加广泛，然而人脸极易用照片、视频、三维面具等方式进行假冒，因此人脸活体检测是人脸识别与认证系统安全的重要课题。从活体检测的图像采集设备的类型来看，目前常见的活体检测主要是可见光图像采集和多光谱图像采集两类，其中多光谱的图像采集包括近红外、远红外、热红外等成像设备；从活体检测的实现方法来看，有交互式活体检测和非交互式活体检测方法，交互式活体检测包括通过用户眨眼、张嘴等动作来区分是否是真人。而非交互式活体检测则无需通过用户配合来实现。申请号为CN201910221151.2，专利名称为一种基于近红外单目摄像的活体检测方法及系统，包括：采集近红外图像信息；检测所述近红外图像中是否包含人脸，若未检测到人脸，则判断识别对象非真人；若检测到人脸，则提示用户做出指定表情动作；提取所述表情动作的光流特征，同时提取近红外图像的面部图像深度特征；将所述光流特征和面部图像深度特征输入深度学习分类器；得到人脸识别结果；该专利技术可有效防范视频及三维面具攻击，提高活体检测的准确率。上述专利存在的缺陷是：依赖于红外图像的输入源，其硬件条件在移动电话、普通web摄像头及白天的监控，可见光摄像头中是不具备的，需要特制的硬件才能完成，限制其应用范围；交互式的用户面部动作可被可调整3D面部模型所攻击，指令式姿态吻合已经不能防御非活体的动作模拟。申请号：CN201811389912.7，专利名称：一种人脸活体检测方法及装置，所述方法包括如下步骤：S1、接收包含人脸区域的深度图像、彩色图像、红外图像，并进行配准；S2、检测所述深度图像、彩色图像、红外图像中的人脸区域；S3、对所述人脸区域深度图像预处理实现图像增强并提取有效人脸深度图像；S4、将所述有效人脸深度图像、人脸区域的彩色图像和红外图像分别输入至经训练的级联深度卷积神经网络，进行精确的人脸活体检测。所述装置包含有用于实现上述方法的计算机程序。通过多源信息融合及级联深度卷积神经网络，解决了传统单目彩色相机无法较好恢复出人脸三维信息的问题，并提升了人脸识别的准确率。上述专利存在的缺陷是此方案基于深度视觉图像及多种人脸图像融合策略方法需要特定的硬件条件来完成，对于普通单目摄像头的应用场景不具有扩展可用性，成本高昂。
技术实现思路
本专利技术的目的在于：提供一种非交互式单目活体检测方法，以解决只具有单目RGB摄像头的硬件设备人脸识别系统在身份验证中对活体检测的强烈需求，比如人机验证，移动应用，web应用以及众多移动智能终端、家用个人电脑及门禁系统等领域。本专利技术采用的技术方案如下：一种非交互式单目活体检测方法，包括如下步骤：(1)采集人脸的连续帧图像获得RGB图像序列；(2)通过使用人脸检测算法，找到图像中所包含的人脸，同时采用特征点对齐工程将每帧目标对象对齐，得到尺寸相同的人脸区域的图像face_imageM×N和非人脸的背景图像nonface_imageM×N；(3)将每个人脸区域的图像序列和非人脸的背景图像序列进行均值化滤波处理：其中，raw_image(m，n)表示原始图像，denoise_image(x，y)表示去噪之后的图像，括号内表示像素点的坐标，Pxy表示中心点为(x，y)，大小为(5x5，n＝5)的滤波器窗口，该滤波器以不重叠的形式进行滑窗，去除由于相机量化造成的部分噪音；(4)将均值化后的人脸区域的图像和非人脸的背景图像在时域上形成两个图像序列face_image{}和nonface_image{}，人脸图像的每个像素i和背景图像的像素j，同时形成两类时间序列pixel{pi，pj}；(5)将pixel{pi，pj}通过傅里叶变化转化到频域，利用低频为0.7HZ，高频为2.5HZ的5阶巴特沃斯滤波器滤除非心率范围内的信号：pixel_f＝DFT(pixel{pi，pj})(2)(6)将滤波后的信号filtered_signal(pi，pj)做功率谱分析，找到每个功率谱的峰值所对应的频率值，即心率基频pixel(psdi，psdj)，进而利用(4)式计算出每个信号的信噪比pixel(snri，snrj)；其中，是频带范围内的频谱信号，Ut(f)表示一个二进制模板窗口，在窗口内的数值为1，窗外的数值为0，其中一个窗口大小为基频±0.2HZ，另一个窗口在一次谐波附近，大小为两倍基频±0.2HZ；(7)将人脸区域的图像序列i乘以对应的snri，得到初始的n*n面部像素谱IPPG_Map，将环境背景的图像序列j乘以对应的snrj，得到环境光噪音分量谱Back-map；(8)噪音消除合成图像，将IPPG_Map减去Back-map，得到时域n*n面部像素PPG-Map；B.神经网络训练部分：将含有活体的人脸视频提取出来的PPG-Map标注为1，同时将非活体的PPG-Map标注为0，建立基于NCNN框架的分类网络，将人脸得到的rppg数据作用于最后一层全连接层，训练模型如图4所示，最终将得到的模型用于真实场景的测试。本申请的技术方案中：通过采集的连续图像，找到图像中所包含的人脸，得到Face{i}和Background{i}，之后进行均值滤波处理，形成时间序列pi，滤除非心率范围内的信号，通过面部PPG-Map的方案，得到一份二维的功率谱图像，然后将活体和假体面部的数据在深度学习模型中建立分类器，完成真实场景中的活体检测目标。本申请无需用户配合检测动作识别，实现了应用于配备单目RGB摄像头的非交互式活体检测方法，其在使用成本和有效性上达到了良好的平衡，对目前的人脸身份验证工作提供了全新的安全手段，能有效防止人像照片伪造、人像视频伪造、面具伪造等人脸身份攻击方法，在RGB人脸图像和IR人脸图像的活体检测工作中都有非特异性的鉴定功效。PPG技术是确定信号中所包含的心率成分，该信号及其微弱，容易被噪声信号淹没，本申请的技术方案中，虽然不需要获取具体的心率值，但形成PPG-Map同样需要找到其中的微弱变化，所以必须对原始图像序列去噪处理。优选的，步骤(1)中采集5s包含人脸的连续帧图像。优选的，步骤(3)中将每个图像序列以5x5的窗口大小进行均值滤波处理，消除相机的量化噪声。优选的，步骤(5)中将pixel{pi，pj}通过傅里叶变化转化到频域，通过巴特沃斯5阶带通滤波器，滤波器频带参数低频为0.7HZ，高频为2.5HZ。优选的，步骤(8)中，初始的面部像素功率信噪谱IPPG-Map，环境光噪音分量功率信噪谱Back-map，PPG-Map为IPPG-Map减去Back-map。本申请的技术方案中，取与人脸大小一致且在同一平面的区域作为背景区域。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术中本文档来自技高网...

【技术保护点】
1.一种非交互式单目活体检测方法，其特征在于，包括如下步骤：/nA.数据预处理部分：/n(1)采集人脸的连续帧图像获得RGB图像序列；/n(2)通过使用人脸检测算法，找到图像中所包含的人脸，同时采用特征点对齐工程将每帧目标对象对齐，得到相同尺寸的人脸区域的图像face_image

【技术特征摘要】
1.一种非交互式单目活体检测方法，其特征在于，包括如下步骤：
A.数据预处理部分：
(1)采集人脸的连续帧图像获得RGB图像序列；
(2)通过使用人脸检测算法，找到图像中所包含的人脸，同时采用特征点对齐工程将每帧目标对象对齐，得到相同尺寸的人脸区域的图像face_imageM×N和非人脸的背景图像nonface_imageM×N；
(3)将每个人脸区域的图像序列和非人脸的背景图像序列进行均值化滤波处理：



其中，raw_image(m，n)表示原始图像，denoise_image(x，y)表示去噪之后的图像，括号内表示像素点的坐标，Pxy表示中心点为(x，y)，大小为5x5，n＝5的滤波器窗口，该滤波器以不重叠的形式进行滑窗，去除由于相机量化造成的部分噪音；
(4)将均值化后的人脸区域的图像和非人脸的背景图像在时域上形成两个图像序列face_image{}和nonface_image{}，人脸图像的每个像素i和背景图像的像素j，同时形成两类时间序列pixel{pi，pj}；
(5)将pixel{pi，pj}通过傅里叶变化转化到频域，利用5阶巴特沃斯滤波器滤除非心率范围内的信号：
pixel_f＝DFT(pixel{pi，pj})(2)



(6)将滤波后的信号filtered_signal(pi，pj)做功率谱分析，找到每个功率谱的峰值所对应的频率值，即心率基频pixel(psdi，psdj)，进而利用(4)式计算出每个信号的信噪比pixel(snri，s...

【专利技术属性】
技术研发人员：李丹疆，刘萍，黎平，
申请(专利权)人：贵阳像树岭科技有限公司，
类型：发明
国别省市：贵州;52