一种基于多视角特征学习的人脸活体检测方法技术

本发明专利技术提出了一种基于多视角特征学习的人脸活体检测方法，从“真实+面具”、“真实+视频”等多个视角进行组级分类，训练多个不同视角的特征提取模型用于提取具有辨别力的检测特征，通过二元分类模型进行融合后用于真伪分类。本发明专利技术可以缓解现有人脸活体检测方法在扩展攻击类型后鉴别性能出现下降的问题，增强防御攻击的能力，从而提高人脸活体检测的精度。从而提高人脸活体检测的精度。从而提高人脸活体检测的精度。

【技术实现步骤摘要】
一种基于多视角特征学习的人脸活体检测方法


[0001]本专利技术属于人脸活体检测
，涉及一种基于多视角特征学习的人脸活体检测方法。

技术介绍

[0002]近年来，随着人脸识别技术在金融支付、门禁解锁等身份认证系统中的广泛应用，针对其进行的伪造人脸攻击也越来越多。攻击者利用照片打印、视频回放、3D面具等身份识别手段，可以轻易的欺骗人脸识别系统，从而对用户的私人财产乃至社会公共安全造成严重威胁。人脸活体检测技术由此而生。
[0003]然而，现有的方法普遍将人脸活体检测问题视为真实人脸和伪造人脸间的二值分类问题，在训练阶段仅以“真实vs.所有攻击类型”的视角进行分类，忽略了不同攻击类型之间的差异以及它们与真实人脸的共性。事实上，不同的攻击类型呈现出不同的伪造特征，而能够很好地检测一种攻击类型的伪造特征(这种攻击类型具有而真实人脸不具备的特征)可能在另一种攻击类型中不存在，试图寻找一些通用的、可以检测多种攻击类型的伪造特征，可能只是得到不同攻击类型特征的折衷，而不是针对每种攻击类型的最佳选择。另一方面，从不同的视角来看，攻击类型与真实人脸间存在着共同的特征。例如，真实人脸和面具都有深度信息，而照片和视频则没有；真实人脸和视频都有动态信息，而照片和面具则没有。
[0004]因此，现有方法在扩展攻击类型后会产生显著的性能下降。例如，一个在只考虑照片、视频两种具有相似伪造线索的攻击类型时可以取得良好性能的模型，在引入与照片、视频攻击具有的伪造线索差异较大的面具攻击后，模型的性能会显著下降。
专利技术内容
[0005]为了解决上述问题，本专利技术提供了一种基于多视角特征学习的人脸活体检测方法，以多个“真实+给定攻击类型vs.其余攻击类型”的视角进行组级分类训练模型并提取特征，进而融合并实现真伪人脸辨别。本专利技术考虑了不同攻击类型之间的差异以及它们与真实人脸的共性，可以缓解现有人脸活体检测方法在扩展攻击类型后鉴别性能出现下降的问题，增强防御攻击的能力，从而提高人脸活体检测的精度。
[0006]本专利技术的具体步骤如下：
[0007](1)挑选训练样本并标注：采集用于训练的非活体人脸样本，如照片、视频、面具等，按攻击类型进行标注；采集活体人脸样本，标注为真实人脸类；
[0008](2)基于“真实+给定攻击类型vs.其余攻击类型”视角的组级分类训练：以真实人脸样本和某一给定类型攻击样本为正样本组、其余类型攻击样本为负样本组，进行组级分类训练，得到基于此“真实+给定攻击类型”视角的特征提取模型；
[0009](3)基于多视角的特征提取：基于步骤(2)的组级分类训练方法，选取多个不同视角训练并得到对应的特征提取模型，提取对应视角的检测特征；
[0010](4)二元分类模型训练：以步骤(3)中得到的多个基于不同视角的检测特征作为二元分类模型的输入，并以真实人脸类为正样本、所有非活体人脸为负样本训练二元分类模型；
[0011](5)基于多视角特征学习的人脸活体检测：取待检测的人脸图像，分别通过步骤(3)中得到的各个模型，得到多个基于不同视角的检测特征，然后输入步骤(4)中得到的二元分类模型，进行真伪人脸分类。
[0012]进一步，在步骤(1)中，采集用于训练的非活体人脸样本包括照片、视频、面具三种攻击类型。
[0013]进一步，本方法包括两种形式的具体模型设计：
[0014]1)在步骤(3)中，仅选取“真实+面具”、“真实+视频”两个视角的特征提取模型；
[0015]2)在步骤(2)与步骤(3)间补充如下步骤：以真实人脸样本为正样本、所有类型攻击样本为负样本进行分类训练，得到“真实vs.所有攻击类型”视角的特征提取模型；在步骤(3)中，选取“真实+面具”、“真实+视频”、“真实vs.所有攻击类型”三个视角的特征提取模型。
[0016]进一步，本方法中基于“真实+面具”、“真实vs.所有攻击类型”两个视角的特征提取模型采用Zitong Yu等人在2020年设计的CDCN模型作为骨干网络；基于“真实+视频”视角的特征提取模型采用Yaowen Xu等人在2021年设计的3D
‑
CDCN模型作为骨干网络；二元分类模型为单独设计的三层卷积网络，卷积核尺寸均为3*3，stride为1，padding为1，前两层每层后接BatchNorm层和Relu层，第三层后仅接Relu层。
[0017]进一步，在步骤(5)中，人脸活体检测的判断方式为：取二元分类模型的输出作为得分图，其全部元素的均值作为分类得分，若该得分大于分类阈值，则判定该待测的人脸图像为活体人脸。
[0018]本专利技术有如下优点：
[0019]1)采用多视角特征学习的策略，关注了不同攻击类型之间的差异以及它们与真实人脸的共性，避免了同时辨别多种攻击导致的特征辨识力下降。
[0020]2)选取“真实+面具”、“真实+视频”两个视角的特征提取模型，兼顾了真实人脸的深度、动态信息，描述真实人脸更为全面细致，增强了人脸活体检测的辨别力。
附图说明：
[0021]图1为本专利技术的模型框架示意图。
[0022]图2为多种视角的组级分类示意图。
具体实施方式
[0023]本专利技术提出了一种基于多视角特征学习的人脸活体检测方法。下面结合具体实例来对本专利技术的具体实现步骤进行说明。
[0024]参见图1，本例选取照片、视频、面具类攻击作为非活体人脸样本，选取“真实+面具”、“真实+视频”两个视角进行特征提取。具体步骤如下：
[0025](1)挑选训练样本并标注：采集用于训练的非活体人脸样本，包括照片、视频、面具三类，按攻击类型依次标注为采集活体人脸样本，标注为真实人脸类I
R
；所取
样本均为长为八帧的图像序列。
[0026](2)基于“真实+给定攻击类型vs.其余攻击类型”视角的组级分类训练：以真实人脸样本和某一给定类型攻击样本为正样本组、其余类型攻击样本为负样本组，进行组级分类训练，得到基于此“真实+给定攻击类型”视角的特征提取模型；如，以“真实+面具”为视角，则为正样本，为负样本；以“真实+视频”为视角，则I
R
、为正样本，为负样本；
[0027](3)基于多视角的特征提取模型训练：基于步骤(2)的组级分类训练方法，训练并得到“真实+面具”、“真实+视频”两个视角的特征提取模型E
rm
和E
rv
，用于提取基于“真实+面具”、“真实+视频”两个视角的检测特征P
rm
和P
rv
；
[0028]如图2所示，以往方法仅使用“真实vs.所有攻击类型”的视角进行分类，而本专利技术则使用了“真实+面具”、“真实+视频”等额外视角。其中，E
rm
采用Zitong Yu等人在2020年设计的CDCN模型作为骨干网络，其输出形式与监督方式与CDCN一致，额外取模型倒数第二层的输出作为P
rm
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角特征学习的人脸活体检测方法，其特征在于，包括如下步骤：(1)挑选训练样本并标注：采集用于训练的非活体人脸样本，按攻击类型进行标注；采集活体人脸样本，标注为真实人脸类；(2)基于“真实+给定攻击类型vs.其余攻击类型”视角的组级分类训练：以真实人脸样本和某一给定类型攻击样本为正样本组、其余类型攻击样本为负样本组，进行组级分类训练，得到基于此“真实+给定攻击类型”视角的特征提取模型；(3)基于多视角的特征提取：基于步骤(2)的组级分类训练方法，选取多个不同视角训练并得到对应的特征提取模型，提取对应视角的检测特征；(4)二元分类模型训练：以步骤(3)中得到的多个基于不同视角的检测特征作为二元分类模型的输入，并以真实人脸类为正样本、所有非活体人脸为负样本训练二元分类模型；(5)基于多视角特征学习的人脸活体检测：取待检测的人脸图像，分别通过步骤(3)中得到的各个模型，得到多个基于不同视角的检测特征，然后输入步骤(4)中得到的二元分类模型，进行真伪人脸分类。2.根据权利要求1所述的一种基于多视角特征学习的人脸活体检测方法，其特征在于：在步骤(1)中，采集用于训练的非活体人脸样本包括照片、视频、面具三种攻击类型。3.根据权利要求1所述的一种基于多视角特征学习的人脸活体检测方法，其特征在于：在步骤(3)中，仅选取“真实+面具”、“真实+视频”两个视角的特征提取模型。4.根据权利要求1所述的一种基于多视角特征学习的人脸活体检测方...

【专利技术属性】
技术研发人员：毋立芳，王竹铭，徐姚文，简萌，石戈，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：