人脸活体检测对抗鲁棒性的评估方法及装置制造方法及图纸

本公开涉及一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备，所述方法包括：将原始人脸图像输入预先训练好的语义特征增广网络，输出噪声特征；将原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量；根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；将原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；根据两者之间的差值确定各分支特征的对抗鲁棒性，细粒度对抗样本包括噪声特征和分支特征向量，能够利用细粒度对抗样本从多个干扰特征中选出对骨干网络的人脸活体检测准确率重要的特征。网络的人脸活体检测准确率重要的特征。网络的人脸活体检测准确率重要的特征。

【技术实现步骤摘要】
人脸活体检测对抗鲁棒性的评估方法及装置


[0001]本公开涉及图像检测领域，尤其涉及一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备。

技术介绍

[0002]人脸活体检测用于鉴别输入人脸数据是否为真人，这一道防线是人脸识别系统可靠性的关键保障。如果人脸活体检测可信度低，那么不法分子就能使用用户的人脸照片或视频，解锁用户手机或者其它基于人脸特征的识别系统，这将极大的危害用户隐私和财产安全。
[0003]近年来，随着数据标注的丰富以及基础骨干网络的快速发展，人脸活体检测模型在公开学术数据集上的精度已经能够逼近百分之百。但是，对抗样本的发现对所有使用深度学习方法的模型提出了巨大挑战，包括人脸活体检测任务。使用最简单的快速梯度下降法（FastGradient Sign Method，FGSM）和投影梯度下降法（Project Gradient Descent，PGD）就能够通过噪声的添加，轻易地误导目标模型，致使其以高置信度给出一个错误的输出。这样的对抗脆弱性在人脸活体检测这样的二分类任务上更加严重。对抗样本通过叠加噪声的方式产生，其带来的视觉效果类似于改变输入图片的纹理。这对于现在工业界普遍使用卷积神经网络构建模型的现状危害更大，因为基于卷积神经网络模型更偏好学习纹理特征而非形状特征。
[0004]对抗样本的问题应该被研究人脸活体检测任务的科研人员充分考虑，但鲜有研究关注这一特殊的二分类问题的对抗鲁棒性。相较于对抗鲁棒性，之前的研究更关注于提升模型精度，比如通过使用更加丰富的标注信息，包括人脸属性、假体种类、深度图和反射图等。实验结果也表明，使用丰富的标注确实比稀疏标注有更好的分类精度表现。但是，是否高精度的模型会带来对抗鲁棒性的提升仍是一个问题。除此以外，各个标注部分的重要性也没有被细粒度地进行分析。此外，骨干基础网络的发展不断刷新深度学习模型的性能，但是哪个模型架构具备更好的对抗鲁棒性仍没有被充分研究。
[0005]将对抗攻击作为一种衡量手段揭示模型对抗脆弱性，能够使得研究者对数据和模型有更深入的理解。但是，现有对抗样本生成方法只考虑到最终的输出结果，具有一定的随机性、缺乏较好的可解释性，这样只能反映出模型整体的对抗脆弱性，而无法反映模型具体的问题。这样使得研究者无法进一步定位对抗脆弱性，对模型的优化、提升没有实际意义。

技术实现思路

[0006]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种一种人脸活体检测对抗鲁棒性的评估方法及装置、电子设备及计算机设备。
[0007]本公开的目的是通过以下技术方案实现的：第一方面，本公开的实施例提供了一种人脸活体检测对抗鲁棒性的评估方法，包括：
将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。
[0008]在一个示例性实施例中，所述多分支网络包括语义特征网络、几何特征网络和决策网络，通过以下表达式训练所述多任务网络模型：其中，为多任务网络损失函数，为语义损失函数，为几何损失函数，为决策网络输出的真人和假人二分类决策向量，为决策向量对应的真实标注信息，为决策损失函数。
[0009]在一个示例性实施例中，语义特征网络包括人脸属性网络、假体种类网络和光照网络，其中，所述语义损失函数为以下表达式：其中，为人脸属性损失函数，为假体种类损失函数，为光照损失函数，为人脸属性网络输出的人脸属性向量，为假体种类网络输出的假体种类向量，为光照网络输出的光照向量，为人脸属性向量对应的真实标注信息，为假体种类向量对应的真实标注信息，为光照向量对应的真实标注信息，、和为设置参数。
[0010]在一个示例性实施例中，几何特征网络包括深度图网络和反射图网络，所述几何损失函数为以下表达式：其中，为几何损失函数，为深度图损失函数，为反射图损失函数，为深度图网络输出的深度图特征图，为反射图网络输出的反射图特征图，为深度图特征图对应的正确标注，为反射图特征图对应的正确标注，和为设置参数。
[0011]在一个示例性实施例中，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部
二值特征计算得到真人增广噪声和假人增广噪声；根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练。
[0012]在一个示例性实施例中，通过以下表达式，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声：声：其中，为真人增广噪声，为假人增广噪声，为原始人脸图像的局部二值特征，为真人噪声生成网络的输出值，为假人噪声生成网络的输出值。
[0013]在一个示例性实施例中，通过以下表达式，根据真人增广噪声和假人增广噪声对原始人脸图像进行处理：其中，为处理后的人脸图像，为原始人脸图像，为真人增广噪声，为假人增广噪声，表示输入的人脸图像是真人数据，表示输入的人脸图像是假人数据。
[0014]在一个示例性实施例中，通过以下表达式，将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练：其中，为真人噪声生成网络和假人噪声生成网络的损失函数，为处理后的人脸图像，为将处理后的人脸图像输入预先训练好的骨干网络中的输出值，表示输入的人脸图像是真人数据，表示输入的人脸图像是假人数据。
[0015]在一个示例性实施例中，通过以下表达式，根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本：其中，，为人脸属性特征，为假体种类特征，为光照特征，为深度图特征，为反射图特征，为第k种特征对应的对抗样本，为原始人脸图像，为攻击步长，为第k种特征对应的网络输出的特征值，为第k种特征对应的真实标注信息，为第k种特征对应的损失函数，表示对进行求导，为噪声特征。
[0016]在一个示例性实施例中，通过以下表达式计算所述噪声特征：
其中，为预先训练好的语义特征增广网络，为真人增广噪声，为假人增广噪声，为原始人脸图像，表示输入的原始人脸图像是真人数据，表示输入的原始人脸图像是假人数据。
[0017]第二方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸活体检测对抗鲁棒性的评估方法，其特征在于，包括：将待检测的原始人脸图像输入预先训练好的语义特征增广网络，输出待加载在原始人脸图像上的噪声特征；将待检测的原始人脸图像输入预先训练好的多任务网络模型，输出多个分支特征向量，其中，所述多任务网络模型包括骨干网络和多分支网络；根据所述噪声特征、所述多个分支特征向量和原始人脸图像生成多个分支对抗样本；将待检测的原始人脸图像和多个分支对抗样本分别输入预先训练好的骨干网络，输出对应的原始检测准确率以及对抗检测准确率；根据原始检测准确率与各分支对抗样本对应的对抗检测准确率之间的差值确定各分支特征的对抗鲁棒性。2.根据权利要求1所述的方法，其特征在于，所述多分支网络包括语义特征网络、几何特征网络和决策网络，通过以下表达式训练所述多任务网络模型：其中，为多任务网络损失函数，为语义损失函数，为几何损失函数，为决策网络输出的真人和假人二分类决策向量，为决策向量对应的真实标注信息，为决策损失函数。3.根据权利要求1所述的方法，其特征在于，语义特征网络包括人脸属性网络、假体种类网络和光照网络，其中，所述语义损失函数为以下表达式：其中，为人脸属性损失函数，为假体种类损失函数，为光照损失函数，为人脸属性网络输出的人脸属性向量，为假体种类网络输出的假体种类向量，为光照网络输出的光照向量，为人脸属性向量对应的真实标注信息，为假体种类向量对应的真实标注信息，为光照向量对应的真实标注信息，、和为设置参数。4.根据权利要求1所述的方法，其特征在于，几何特征网络包括深度图网络和反射图网络，所述几何损失函数为以下表达式：其中，为几何损失函数，为深度图损失函数，为反射图损失函数，为深度图网络输出的深度图特征图，为反射图网络输出的反射图特征图，为深度图特征图对应的正确标注，为反射图特征图对应的正确标注，和为设置参数。5.根据权利要求1所述的方法，其特征在于，所述语义特征增广网络包括真人噪声生成网络和假人噪声生成网络，所述真人噪声生成网络和所述假人噪声生成网络通过以下步骤训练得到：将原始人脸图像分别输入真人噪声生成网络和假人噪声生成网络；
根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声；根据真人增广噪声和假人增广噪声对原始人脸图像进行处理，并将处理后的人脸图像输入预先训练好的骨干网络中，以与原始人脸图像的标签相反的标签作为输出，对真人噪声生成网络和假人噪声生成网络进行训练。6.根据权利要求5所述的方法，其特征在于，通过以下表达式，根据真人噪声生成网络和假人噪声生成网络的输出值以及原始人脸图像的局部二值特征计算得到真人增广噪声和假人增广噪声：和假人增广噪声：其中，为真人增广噪声，为假人增广噪声，为原始人脸图像的局部二值特征，为真人噪声生成网络的输出值，为假人噪声生成网络的输出值。7.根...

【专利技术属性】
技术研发人员：王伟，董晶，彭勃，杨嵩林，王建文，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：