一种基于AR-MLP的多模态人脸反欺诈检测方法技术

本发明专利技术公开的是一种基于AR

【技术实现步骤摘要】
一种基于AR
‑
MLP的多模态人脸反欺诈检测方法


[0001]本专利技术涉及一种多模态人脸反欺诈检测方法，更具体一点说，涉及一种基于AR
‑
MLP的多模态人脸反欺诈检测方法，属于石油化工领域。

技术介绍

[0002]人脸检测系统包括两个部分，先进行活体检测——检测摄像头前的人脸是真实人脸还是攻击人脸。当检测为真实人脸后，再进行人脸识别——即对摄像头前的人脸进行身份验证，确认是否为本人。
[0003]当前的人脸识别技术日趋成熟，并广泛成功地应用于各种身份认证任务，各类人脸检测的系统被部署在了身份检测识别机与各类设备的人脸检测系统上。随之而来是各种人脸攻击，如最为常见的打印照片攻击、视频攻击，以及3D面具攻击中的刚性塑料面具攻击、柔性硅胶面具攻击、纸面具攻击，还有眼镜遮挡攻击、假头模型攻击、化妆攻击等，这些攻击对人脸识别系统的安全构成了巨大威胁。
[0004]人脸反欺诈检测在初期通常都是使用手工提取特征的机器学习的方法，一般包括如颜色纹理特征LBP、MBSIF
‑
TOP和MLPQ
‑
TOP、CoALBP、光照强度特征LDN及其变形LDN
‑
TOP，以及DoG、SIFT等特征，或者使用一些基于运动的方法，如LBP
‑
TOP等，有的方法还会加入处理空间模糊图像纹理特征LPQ。这些方法一般都是使用传统的分类器如SVM和ProCRC，但是这类提取特征算法和分类方法存在着诸多问题，如所能应对的攻击类型较少、跨域测试时准确率较低等问题。
[0005]因此，基于深度学习的人脸反欺诈检测算法越来越受大家青睐。Li等人(Li J C,Hassani A,Walton S,et al.ConvMLP:Hierarchical Convolutional MLPs for Vision[EB/OL].arXiv:2109.04454v2[cs.CV],2021.)发现由多层感知器(Multilayer Perceptron，MLP)组成的方案灵活性较低，并且在全连接层上的计算量较为繁琐，于是他们提出了一种将CNNs和MLP结合的可扩展的协同设计方案，在CNNs的前期加入卷积层、下采样和MLP，进而补充通道MLP缺乏空间交互，以及共享权重的问题。CNNs虽然有较强的提取局部特征的能力，但是由于感受野的限制，一直存在着不能获取长距离依赖特征的问题。Wang等人(Wang W H,Wen F,Zheng H,et al.Conv
‑
MLP:A Convolution and MLP Mixed Model for Multimodal Face Anti
‑
Spoofing[J].IEEE Transactions on Information Forensics and Security,2022,17:2284
‑
2297.)针对CNNs固有的归纳偏差特性，设计了一种局部CNNs和全局MLP组合的名为Conv
‑
MLP的架构，它先对每个块进行卷积来提取局部特征，再在不同的块上进行跨片混合，使得不同的块之间进行交叉混合，从而获得各个块之间的远距离全局相关性，这样的组合方式既能完全利用好CNNs对局部特征的捕获能力，又能解决CNNs一直存在的感受野有限的问题。
[0006]Dosovitskiy等人(Dosovitskiy A,Beyer L,Kolesnikov A,et al.An image is worth 16
×
16words:Transformers for image recognition at scale[C]//International Conference on Learning Representations,2021:1
–
22.)针对图像视觉
领域的特性，设计了视觉转换器(Vision Transformer，ViT)框架。George等人(George A,Marcel S.On the effectiveness of vision transformers for zero
‑
shot face anti
‑
spoofing[C]//IEEE International Joint Conference on Biometrics,2021:1
–
8.)第一次将ViT应用于人脸反欺诈检测任务，在融入了零样本学习后，微调了ViT模型的训练参数，实现了在两个权威的人脸反欺诈检测数据集上较好的测试性能。但是ViT存在预训练的数据需求量极大的问题，区别于之前的大量注意力机制的任务，特别是在CNNs的特定的归纳偏置问题上，ViT只有MLP这一层是局部并且是平移且等变的，在拥有足够的训练的数据量时，它很好地缩减了存在于图像的归纳偏置问题，这也意味着它的一个缺点：需要大规模数据集的预训练，这是非常耗时的。
[0007]随着传感器制造技术不断进步和多光谱相机技术的持续发展，大大降低了多光谱相机的制造成本，使得包括深度图、红外图像等多模态图像能够被更广泛地应用于各类目标检测和识别等任务中。George等人(George A,Marcel S.Cross Modal Focal Loss for RGBD Face Anti
‑
Spoofing[C]//IEEE Conference on Computer Vision and Pattern Recognition,2021:7878
‑
7887.)提出了一种遵循后期融合的双流网络架构，将RGB图和深度图的双通道组合为第三个分支，用全连接层连接为一个分类头，并设计了一个CMFL损失函数对各个通道和联合表示中学习判别特征，实现了较好的检测效果。
[0008]综上可知，国内外学者已经在基于深度学习的人脸反欺诈检测方法上做出了大量探究，基本解决了由传统算法带来的特征局限性问题，但是目前的人脸反欺诈检测方案还存在多种特征无法高效融合的问题，此外，模型的泛化性也有待增强。

技术实现思路

[0009]为了解决上述现有技术问题，本专利技术提供具有能够将多模态图像输入网络后将特征进行堆叠的深度特征融合等技术特点的一种基于AR
‑
MLP的多模态人脸反欺诈检测方法。
[0010]为了实现上述目的，本专利技术是通过以下技术方案实现的：
[0011]一种基于AR
‑
MLP的多模态人脸反欺诈检测方法，该检测方法包括：
[0012]步骤1)对输入的人脸RGB图像、人脸深度图像和人脸红外图像进行人脸图像处理以实现人脸多模态特征融合，堆叠耦合输入AR
‑
MLP网络，进行转置、整形，实现提取不同人脸区域patch的特征并构成输入张量(特征张量)；
[0013]步骤2)将特征张量送入卷积和注意力整合集本文档来自技高网...

【技术保护点】

【技术特征摘要】
3090上运行...

【专利技术属性】
技术研发人员：沈剑，肖芙苏，陈佳茵，张一嘉，徐璐，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：