一种静默活体检测方法技术

本发明专利技术公开一种静默活体检测方法，依次包括以下步骤：步骤1：将输入视频经过预处理操作得到固定大小的人脸图片；步骤2：将步骤1得到的固定大小人脸图像分别采取RGB和YCrCb色彩空间表示，接着输入进双流特征融合网络模型实现特征提取；步骤3：将非活体类别细分成打印攻击和展示攻击两个类别，根据步骤2得到的图像特征表示进行类别预测，采取多分类交叉熵损失监督模型训练，可以有效降低算法的分类错误率并提升泛化性能。本发明专利技术采取单帧图片输入、无需额外辅助设备，算法实现成本低廉，也无需进行额外的人机交互，具有良好用户体验。具有良好用户体验。具有良好用户体验。

【技术实现步骤摘要】
一种静默活体检测方法


[0001]本专利技术涉及人脸活体检测领域，具体涉及一种静默活体检测方法。

技术介绍

[0002]亟需在现有设备条件下，以有限的成本将静默活体检测引入到系统中，从而提升系统的安全性。但是现有算法普遍将人脸活体检测视为二分类任务，忽略了不同非活体攻击图像之间的差异以及类别不均衡问题对模型学习的不利影响，训练得到的模型往往泛化性能不足，难以应用到复杂多变的实际场景中。

技术实现思路

[0003]为解决上述问题，本专利技术公开了专利技术目的：本专利技术的目的在于解决现有基于二分类的静默活体检测方法中存在的不足，提供一种能够降低分类错误率、提升泛化性能的面向社区矫正对象的静默活体检测方法。
[0004]本专利技术所述的一种静默活体检测方法，依次包括以下顺序执行的步骤：
[0005](1)输入数据的预处理：
[0006](1.1)现有训练数据样本通常为视频格式，而本专利技术采取单帧图片输入的形式，为了充分利用视频中的所有有效图片数据，模型在训练过程中，每一轮随机从视频中抽取一帧有效人脸图片，并对图片进行一系列图像增强处理，从而得到固定大小的输入图像；
[0007](1.2)验证和测试过程对数据处理操作一致，从视频中的有效图片数据中选取最中间的一帧图片，并经过缩放得到固定大小的输入图像；
[0008](2)双流特征融合网络模型的构建。非活体欺诈图像是由活体图像二次采集得到，导致非活体欺诈样本的图像质量下降，不同类别样本图像的梯度和色彩特征存在差异。对此，本专利技术通过深度可分离卷积并结合注意力机制思想将梯度和色彩信息融入进网络结构之中，构建出一个双流特征融合网络模型，对依据步骤(1)所述得到的输入图像进行特征提取。模型的训练过程如下：
[0009](2.1)将图像转换到RGB色彩空间表示，训练得到基于RGB 色彩空间输入图像的梯度卷积网络预训练模型；
[0010](2.2)将图像转换到YCrCb色彩空间表示，训练得到基于YCrCb 色彩空间输入图像的梯度卷积网络预训练模型；
[0011](2.3)将两个预训练模型参数分别赋给双流特征融合网络的两个分支，接着进一步对整个网络进行参数调整。
[0012](3)多分类损失学习策略的选择。本专利技术分析不同非活体欺诈图像的特征差异，将非活体类别细分成打印攻击和展示攻击两种类别，视活体检测为多分类任务，利用交叉熵损失监督网络模型学习，使得模型更为关注类间差异和类内共性特征学习，降低数据采集环境特征的影响，最终学习到的分类特征表征更为准确。
[0013]本专利技术的有益效果：
[0014](1)基于单帧图像实现真伪活体判别，无需额外辅助设备和人机交互，成本低廉、用户体验好；
[0015](2)采取多分类交叉熵损失监督模型训练，能够均衡类别样本数目的差异，提升模型对类间差异和类内共性特征的学习，降低数据采集环境特征的影响，提升模型的泛化性能；
[0016](3)利用深度可分离卷积将Sobel梯度算子融入卷积神经网络，对模型参数量和计算量的增加较小，但提升了模型对图像梯度特征的学习；同时，结合图像通道注意力机制，将从RGB色彩空间和YCrCb 色彩空间分别提取到的图像特征进行自适应融合，依据具体输入图像对特征进行合理权重调整，使得最终的分类特征表征信息更为准确丰富，降低了模型的分类错误率并提升泛化性能。
附图说明
[0017]图1为本专利技术所述静默活体检测方法的示意图；
[0018]图2为输入数据预处理的示意图；
[0019]图3为Sobel梯度卷积特征提取网络的示意图；
[0020]图4为双流特征融合网络模型的结构示意图；
[0021]图5为自适应特征融合子模块的结构示意图。
具体实施方式
[0022]下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
[0023]如图1所示，本实施例的一种静默活体检测方法，依次包括以下顺序执行的步骤：
[0024]1.输入数据预处理
[0025]数据预处理流程如图2所示，具体步骤如下：
[0026](1)将视频流分割成独立的单帧图片，并利用Dlib库中的人脸检测算法对图片进行人脸检测，记录每张图片中的人脸位置信息，过滤掉不存在人脸信息的无效图片；
[0027](2)为了充分利用视频中的有效人脸图片，在每一轮(epoch) 训练时从视频流中随机挑选一张有效人脸图片输入到特征提取网络中，在验证或测试时，从视频流中固定选择最中间的有效人脸图片；
[0028](3)为了降低数据数据采集环境特征的影响，在训练时对图像进行多种图像增强操作，包括：对图像的每一个通道进行小范围内的数值扰动，根据图像中的人脸区域位置随机进行缩小或扩大(0.8
‑
1.2) 并裁剪，缩放至114
×
114的固定大小，随机擦除图像中一块10
×
10 至25
×
25大小的区域；在测试时，仅仅需要将图像按照人脸位置进行裁剪并缩放至114
×
114固定大小。
[0029]2.双流特征融合网络构建
[0030]鉴于二次采集导致人脸图像的梯度和色彩特征差异，本专利技术构建了一个双流特征融合网络模型。该模型利用设计的梯度卷积特征提取网络对从RGB和YCrCb色彩空间输入图
像进行特征提取，并经过设计的自适应特征融合子模块实现特征的自适应融合，进而得到表征更为准确丰富的图像分类特征。双流特征融合网络的结构如图4所示，具体结构说明如下：
[0031](1)针对不同类别人脸图像的梯度差分特征差异，本专利技术选择 Sobel梯度算子并将其融入卷积过程，以深度可分离卷积的形式构建了Sobel梯度卷积，卷积过程如图3所示，整个卷积包含两个计算过程，前半部分输入特征图中各个通道独立的卷积运算称之为 Depthwise Convolution，用于独立提取各个通道的图像特征；后半部分采取多个不同的1
×
1卷积核对所有通道进行组合得到输出特征图，该过程称之为Pointwise Convolution。具体过程为：首先，输入特征图拆分成一个个独立的单通道特征图；然后，分别与同样数目的卷积核一一进行卷积运算；接着，将进行卷积运算之后的多个特征图合并成多通道特征图，其中，Sobel梯度算子需要分别提取水平和竖直梯度信息，构建了两个Depthwise Convolution分支；最后，与多个大小为1
×
1的卷积核进行运算，得到最终的输出特征图。
[0032](2)首先，将(1)中所述的Sobel梯度卷积和普通卷积相加结合得到组合卷积；然后，将三个组合卷积堆叠后接一个最大池化层得到卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种静默活体检测方法，其特征在于：包括以下步骤：步骤1：输入数据的预处理；步骤2：双流特征融合网络模型的构建步骤3：多分类损失学习策略的选择。2.根据权利要求1所述的一种静默活体检测方法，其特征在于：所述步骤1：输入数据的预处理包含针对模型训练、验证和测试的不同处理步骤：(1.1)现有训练数据样本通常为视频格式，而本发明采取单帧图片输入的形式，为了充分利用视频中的所有有效图片数据，模型在训练过程中，每一轮随机从视频中抽取一帧有效人脸图片，并对图片进行一系列图像增强处理，从而得到固定大小的输入图像；(1.2)验证和测试过程对数据处理操作一致，从视频中的有效图片数据中选取最中间的一帧图片，并经过缩放得到固定大小的输入图像。3.根据权利要求1所述的一种静默活体检测方法，其特征在于所述步骤2中双流特征融合网络模型的构建：通过深度可分离卷积并结合注意力机制思想将梯度和色彩...

【专利技术属性】
技术研发人员：张柏礼，游帆，黄新宇，王禄生，刘艳红，
申请(专利权)人：东南大学，
类型：发明
国别省市：