细化深度图的人脸活体检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人脸识别技术领域，具体涉及一种细化深度图的人脸活体检测方法、装置、设备及存储介质。该检测方法包括以下步骤：将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；采用网络损失函数指导所述人脸活体检测模型训练，所述网络损失函数L

【技术实现步骤摘要】
细化深度图的人脸活体检测方法、装置、设备及存储介质
本专利技术涉及人脸识别
，具体涉及一种细化深度图的人脸活体检测方法、装置、设备及存储介质。
技术介绍
人脸活体检测技术在人脸识别系统中起着至关重要的作用，然而人脸识别系统容易受到攻击样本的欺骗，例如攻击样本为打印的照片、视频回放和手机翻拍等。最近几年，传统方法和基于卷积神经网络(CNN)的方法都能够有效地区分活体和攻击样本。然而，这些方法很难区分欺骗模式的本质，例如皮肤细节的丢失、颜色失真和伪影等。为了解决此问题，Atoum等人提出了单帧的CNN结构，提高了活体检测的准确性。目前活体检测方法中包括基于时空特征的活体检测算法，例如3D卷积、LSTM和光流直方图来区分真假人脸图像，这些方法从时间和空间两方面来提取特征，具有很好的效果。但上述活体检测方法还存在以下两个问题尚未完全解决：1)传统方法通常使用底层的时空局部描述算子来区分细粒度问题，活体检测的识别率较低；2)时空体中所有的特征来检测活体，算法的计算时间太长，需要消耗大量的时间。为了解决这些问题，王等人使用空间梯度块RSGB来提取局部细粒度特征和卷积特征，并且时空传播块STPM将短期和长期的时空特征传播到人脸深度信息中，将RSGB和STPM结合来提取时空特征，接着使用PRNet网络生成三维的人脸深度图像，最后将标记的深度图像输入神经网络中训练和测试。专利技术人在实践中发现上述现有技术还存在以下不足：对比深度损失函数只计算了每个像素对活体模型的影响，忽略了这些不同像素间的距离，从而忽略了相邻像素间的深度信息。
技术实现思路
为了解决上述技术问题，本专利技术的目的在于提供一种细化深度图的人脸活体检测方法、装置、设备及存储介质，所采用的技术方案具体如下：第一方面，本专利技术一个实施例提供了一种细化深度图的人脸活体检测方法，该检测方法包括以下步骤：将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；采用网络损失函数指导所述人脸活体检测模型训练，所述网络损失函数的计算公式如下：Loverall＝β×Lbinary+(1-β)×(LEDL+LCDLS)其中，Lbinary为二分类损失函数，LEDL为经典损失函数，LCDLS是对比深度损失函数，β是权衡所述二分类损失和所述对比深度损失的超参数；其中，所述对比深度损失函数LCDLS的计算公式如下：其中，KiCDLS是第i个卷积核，i∈[0，7]，DP表示预测值，DG表示真实值，是指卷积运算。进一步，所述预测样本图像的类别步骤，还包括以下获取人脸深度图的步骤：通过所述人脸活体检测模型的主干网络提取粗略深度图，所述主干网络包括级联的空间梯度块和最大池化层；在相邻帧之间插入时空传播块提取相邻帧的底层、中层和高层的细粒度时空特征；将所提取的多层次的细粒度时空特征串联起来预测每帧的时空深度图；利用所述时空深度图细化所述粗略深度图。进一步，所述细粒度时空特征的提取方法，包括以下步骤：利用短期时空块提取相邻帧的时空特征作为短期时空特征；通过ConvGRU在时空立方体中传播所述短期时空特征，得到时空深度图。进一步，所述二分类损失函数Lbinary：Lbinary＝-BG×log(fcs(Davg))其中，BG是样本图像的真实标签；Davg是深度图的平均池化，表示第t帧深度图，t∈[1，Nf－1]。第二方面，本专利技术另一个实施例提供了一种细化深度图的人脸活体检测装置，该检测装置包括：类别预测模块，用于将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；训练模块，用于采用网络损失函数指导所述人脸活体检测模型训练，所述网络损失函数的计算公式如下：Loverall＝β×Lbinary+(1-β)×(LEDL+LCDLS)其中，Lbinary为二分类损失函数，LEDL为经典损失函数，LCDLS是对比深度损失函数，β是权衡所述二分类损失和所述对比深度损失的超参数；其中，所述对比深度损失函数LCDLS的计算公式如下：其中，KiCDLS是第i个卷积核，i∈[0，7]，DP表示预测值，DG表示真实值，是指卷积运算。进一步，所述类别预测模块还包括：提取粗略深度图模块，用于通过所述人脸活体检测模型的主干网络提取粗略深度图；多层次细粒度提取模块，用于在相邻帧之间插入时空传播块提取相邻帧的底层、中层和高层的细粒度时空特征；时空深度图预测模块，用于将所提取的多层次的细粒度时空特征串联起来预测每帧的时空深度图；以及细化模块，用于利用所述时空深度图细化所述粗略深度图。进一步，所述多层次细粒度提取模块包括：短期时空特征提取模块，用于利用短期时空块提取相邻帧的时空特征作为短期时空特征；以及传播模块，用于通过ConvGRU在时空立方体中传播所述短期时空特征，得到时空深度图。进一步，所述二分类损失函数Lbinary：Lbinary＝-BG×log(fcs(Davg))其中，BG是样本图像的真实标签；Davg是最大池化层的平均深度图表示第t帧深度图，t∈[1，Nf－1]。第三方面，本专利技术另一个实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述任意一项所述的方法。第四方面，本专利技术另一个实施例提供了一种存储介质，该存储介质中存储有计算机可读的程序指令，所述程序指令被处理器执行时实现上述任意一项所述的方法。本专利技术具有如下有益效果：本专利技术一个实施例提供了一种细化深度图的人脸活体检测方法，该检测方法将多帧样本图像输入人脸活体检测模型预测样本图像的类别，采用网络损失函数指导所述人脸活体检测模型训练，该网络损失函数综合采用二分类损失函数、经典损失函数和对比深度损失函数，提高了活体检测模型的精度，解决了由于经典损失函数忽略了相邻像素之间的深度差，导致活体检测模型的精度低的技术问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1为本专利技术一个实施例所提供的一种细化深度图的人脸活体检测方法的流程图；图2为本专利技术一个实施例所提供的人脸活体检测模型的总体框架结构图；图3为本专利技术一个实施例所提供的对比深度损失结构图；图4为本专利技术一个实施例所提供的超参数对活体模型影响的结果示意图；图5为本专利技术另一个实施例所提供的一种细化深度图的人脸活体检测装置的结构框图；图6为本专利技术另一个实施例所本文档来自技高网...

【技术保护点】
1.一种细化深度图的人脸活体检测方法，其特征在于，该检测方法包括以下步骤：/n将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；/n采用网络损失函数指导所述人脸活体检测模型训练，所述网络损失函数的计算公式如下：/nL

【技术特征摘要】
1.一种细化深度图的人脸活体检测方法，其特征在于，该检测方法包括以下步骤：
将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；
采用网络损失函数指导所述人脸活体检测模型训练，所述网络损失函数的计算公式如下：
Loverall＝β×Lbinary+(1-β)×(LEDL+LCDLS)
其中，Lbinary为二分类损失函数，LEDL为经典损失函数，LCDLS是对比深度损失函数，β是权衡所述二分类损失和所述对比深度损失的超参数；
其中，所述对比深度损失函数LCDLS的计算公式如下：



其中，KiCDLS是第i个卷积核，i∈[0，7]，DP表示预测值，DG表示真实值，是指卷积运算。


2.根据权利要求1所述的一种细化深度图的人脸活体检测方法，其特征在于，所述预测样本图像的类别步骤，还包括以下获取人脸深度图的步骤：
通过所述人脸活体检测模型的主干网络提取粗略深度图，所述主干网络包括级联的空间梯度块和最大池化层；
在相邻帧之间插入时空传播块提取相邻帧的底层、中层和高层的细粒度时空特征；
将所提取的多层次的细粒度时空特征串联起来预测每帧的时空深度图；
利用所述时空深度图细化所述粗略深度图。


3.根据权利要求2所述的一种细化深度图的人脸活体检测方法，其特征在于，所述细粒度时空特征的提取方法，包括以下步骤：
利用短期时空块提取相邻帧的时空特征作为短期时空特征；
通过ConvGRU在时空立方体中传播所述短期时空特征，得到时空深度图。


4.根据权利要求1所述的一种细化深度图的人脸活体检测方法，其特征在于，所述二分类损失函数Lbinary：
Lbinary＝-BG×log(fcs(Davg))
其中，BG是样本图像的真实标签；Davg是深度图的平均池化，表示第t帧深度图，t∈[1，Nf－1]。


5.一种细化深度图的人脸活体检测装置，其特征在于，该检测装置包括：
类别预测模块，用于将多帧样本图像输入人脸活体检测模型预测样本图像的类别，所述类别包括人脸活体图像和攻击图像；
训练模...

【专利技术属性】
技术研发人员：卢丽，闫超，胡二建，
申请(专利权)人：河南威虎智能科技有限公司，
类型：发明
国别省市：河南;41