基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法技术方案

本发明专利技术涉及一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，属于人脸识别安全防护技术领域。本方法设计了一种对抗样本物理攻击方法，通过一次生成多个不同形状的贴纸来攻击目标深度人脸识别系统，并设计一个转换器来模拟真实世界中附着贴纸的人脸样子，这些不同形状的贴纸能够灵活地附着在人脸的任意地方。同时，利用贴纸方式对深度人脸识别系统实施物理攻击，无需设计专门的装置即可在物理世界重构出对抗样本，从而检测系统的安全性。本发明专利技术方法易用性高，生成的贴纸更加灵活、鲁棒性强。通过目标深度人脸识别系统检验生成器贴纸的有效性判断出系统的安全性，为进一步调整优化人脸识别系统提供了方向。调整优化人脸识别系统提供了方向。调整优化人脸识别系统提供了方向。

【技术实现步骤摘要】
基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法


[0001]本专利技术涉及一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，属于人脸识别安全防护


技术介绍

[0002]人脸识别系统作为人工智能最为成熟的应用领域，已经大规模落地并服务于人们的日常生活。例如，基于二代身份证的人证核验、刷脸支付、人脸闸机验证等。但是，在大规模商业化的同时，人脸识别技术也面临更多方面的威胁。随着深度神经网络(DNN)的发展，其越来越受到人们的关注，并应用于人脸识别系统中。
[0003]对抗样本，是一类被恶意设计用来攻击深度学习模型的样本。通过对输入添加刻意构造的扰动，对抗样本可以使得特定的深度学习模型产生错误的分类。因此，对抗样本可以被用来检测深度学习模型是否存在安全问题。对于人脸识别系统而言，如果能够生成对抗样本，就意味着目标人脸识别系统就不再安全。
[0004]对抗样本分为数字世界的对抗样本和物理世界的对抗样本。其中，数字世界的对抗样本是利用数字攻击方法直接修改人脸图像的像素大小，物理世界的对抗样本则需要在物理世界中重构出来。
[0005]与物理攻击方法制作的对抗样本相比，数字攻击方法生成的对抗样本需要直接输入人脸识别系统的识别模型中，因此其实用性较差。物理世界的人脸对抗样本，通过对人脸进行微小的改动(附着贴纸或佩戴眼镜)就可以欺骗深度识别系统做出错误的判断，从而造成重大损失。
[0006]物理攻击方法可进一步分为仿冒攻击和躲避攻击。其中，仿冒攻击是指对攻击者的人脸施加扰动，使得人脸识别系统的识别结果为受害者；躲避攻击是指扰动攻击者的人脸，使其无法被人脸识别系统成功识别出来。
[0007]衡量物理攻击方法好坏的标准是：有效性、易用性和鲁棒性。物理攻击的目标是能够成功地欺骗目标人脸识别系统，并且可以抵抗环境因素的变化，这里的环境因素包括攻击者到摄像机的距离、环境亮度和攻击者头部姿态等，环境因素的变化会使得降低物理攻击方法的攻击效果；易用性是指攻击可以不用借助于专门的装置在物理世界中生成扰动；鲁棒性是指对抗样本可以抵抗环境因素的变化，比如攻击者姿态的变化。
[0008]因此，如果能够设计一种高鲁棒物理对抗样本生成方法用于检验在物理场景下深度人脸识别系统的安全性，从而验证人脸识别系统的识别结果可信性，具有重要的意义。

技术实现思路

[0009]本专利技术的目的是为了解决有效检验在物理场景下深度人脸识别系统的安全性、验证人脸识别系统的识别结果可信性的技术问题，提出一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法。
[0010]由于深度人脸识别系统总是在特定的人脸区域(比如五官附近)提取信息。因此，
将贴纸附着在这些区域就能够改变人脸特征，从而降低人脸识别系统的识别准确率。例如，当正方形的贴纸被贴在特定位置时(比如眉毛)，贴纸的四角可能会遮挡眼睛，这可能会导致攻击者无法通过活体检测系统。活体检测系统会通过检测眼球的移动来判断摄像机前面是真实活体还是播放的视频。同时，为保证贴纸在物理世界仍然保持有效性，攻击方法需要模拟出贴纸附着在人脸图片时的样子。这是因为人脸是3D形状而不是2D平面，贴纸附着在人脸上时会产生形变。另一方面，现实世界中的物理环境是不断变化的，要求生成的贴纸具备非常强的鲁棒性。
[0011]针对以上问题，本方法设计了一种对抗样本物理攻击方法，通过一次生成多个不同形状的贴纸来攻击目标深度人脸识别系统，并设计一个转换器来模拟真实世界中附着贴纸的人脸样子，这些不同形状的贴纸能够灵活地附着在人脸的任意地方(鼻梁、眉毛、嘴唇旁等)。同时，考虑到易用性问题，利用贴纸方式对深度人脸识别系统实施物理攻击，无需设计专门的装置即可在物理世界重构出对抗样本，从而检测系统的安全性。
[0012]借助于对抗生成网络机制用来生成贴纸的形状，包含四个不同的部分：贴纸生成器形状判别器转换器和目标深度人脸识别系统并且实现仿冒攻击和躲避攻击。
[0013]给定一个人脸图像x和标签y，假设人脸识别系统识别正确，则
[0014]仿冒攻击是指：攻击者首先指定一个受害者y
*
使得对抗样本的识别结果为躲避攻击是指：攻击者制作一个对抗样本x
*
＝x+Δ
x
，使得识别结果为
[0015]贴纸生成器包括形状组件和贴纸组件，分别负责生成贴纸的形状和内容。贴纸生成器包含不同分支，用以同时生成多个贴纸；形状组件用于生成一个形状掩码，贴纸组件用于生成一个对抗性贴纸，其中，形状掩码是一个二值图片，即仅包含白色(像素为255)和黑色(像素为0)，被用来裁剪原本生成的方形贴纸，使得裁剪后的贴纸形状和形状模板一致。
[0016]形状判别器用于判别输入的形状图像是贴纸生成器生成的形状，还是来自于模板形状数据集。
[0017]转换器将贴纸生成器生成的贴纸附着在输入人脸图像x上。首先，基于深度学习的3D人脸重建方法(比如R
‑
Net)，得到包括3D人脸形状、照明模型参数在内的辅助信息。然后，把贴纸生成器生成的贴纸放置到预先选择的位置上，形成贴纸模板。之后，将贴纸模板和辅助信息输入到渲染器中，得到渲染出的贴纸。将渲染出的贴纸放置到原始的人脸图片上，得到附着贴纸的人脸图片。最后，目标深度人脸识别系统将附着贴纸的人脸图片作为输入，并给出最终的识别结果。在训练贴纸生成器和形状判别器的过程中，形状掩码的参数是不变的，从而保证识别结果的有效性。
[0018]通过目标深度人脸识别系统检验生成器贴纸的有效性，判断出系统的安全性，为进一步调整优化人脸识别系统提供了方向。
[0019]有益效果
[0020]本专利技术方法，具有以下有益效果：
[0021](1)易用性高，无需定制特殊的设备；
[0022](2)贴纸的位置不固定，使得攻击更加灵活；
[0023](3)可以生成不同形状的贴纸，贴纸的形状是事先准备的模板形状数据集中的形状，使得生成的贴纸更加灵活地附着到人脸上；
[0024](4)生成的贴纸鲁棒性强，转换器可以将贴纸附着在不同姿态的人脸上。且转换器可以利用估计的照明模型参数进行渲染，会增加贴纸对环境亮度变化的鲁棒性。
附图说明
[0025]图1是本专利技术方法的物理攻击过程；
[0026]图2是本专利技术方法中的贴纸生成器、形状判别器、转换器和目标深度人脸识别系统的架构图；
[0027]图3是本专利技术方法中的转换器将贴纸附着在人脸图片上的具体过程。
具体实施方式
[0028]下面结合附图和实施例对本专利技术方法做进一步详细说明。
[0029]一种基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，包括如下步骤：
[0030]步骤1：准备攻击者P
A
的人脸图片数据集D
A
和模板形状数据集D
s
，并选择一个3D人脸重建算法
[0031]具体地，包括以下步骤：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高鲁棒对抗样本生成的人脸识别系统安全性检测方法，其特征在于，包括如下步骤：步骤1：准备攻击者P
A
的人脸图片数据集D
A
和模板形状数据集D
s
，并选择一个3D人脸重建算法步骤2：设置贴纸生成器一次能够生成的贴纸数量为m，每个贴纸放置的位置为l
i
,i＝1,2,
…
,m；设置攻击者的攻击模式，包括仿冒攻击、躲避攻击两种，若为仿冒攻击，还需设置受害者P
B
；其中，贴纸生成器包括形状组件和贴纸组件，分别负责生成贴纸的形状和内容；贴纸生成器包含不同分支，用以同时生成多个贴纸；形状组件用于生成形状掩码，贴纸组件用于生成对抗性贴纸，其中，形状掩码是一个二值图片，仅包含白色和黑色，被用来裁剪原本生成的方形贴纸，使得裁剪后的贴纸形状和形状模板一致；仿冒攻击是指：攻击者指定一个受害者y
*
，使得对抗样本的识别结果为躲避攻击是指：攻击者制作一个对抗样本x
*
＝x+Δ
x
，使得识别结果为其中，x、y的含义为：给定一个人脸图像x和标签y，假设人脸识别系统识别正确，则步骤3：从一个均值为0、方差为1的高斯分布中采样一个随机噪声n；之后，将随机噪声n输入到贴纸生成器中，生成m个正方形的贴纸SC
i
，i＝1,2,
…
,m，以及m个形状掩码SH
i
，i＝1,2,
…
,m；然后，依次使用第i个形状掩码SH
i
去裁剪对应的正方形贴纸SC
i
，得到裁剪后的贴纸步骤4：从模板形状数据集D
S
中随机采样m个形状模板S
i
，并将其与贴纸生成器生成的形状掩码SH输入到形状判别器中；计算损失函数中；计算损失函数其中，为贴纸生成器，SH为形状掩码，S为形状模板，表示从高斯分布中采样得到的随机噪声n，表示从形状模板数据集中采样得到的形状模板S；λ表示平衡因子，对式(1)中第三项损失进行缩放；表示从形状模板的随机分布得到的形状模板得到的形状模板表示的梯度；其中，形状模板从形状掩码SH
i
和形状模板S
i
随机采样得到：其中，ε从U[0，1]分布中采样得到，U表示均匀分布；贴纸生成器的输出包括贴纸内容SC和形状掩码SH，计算时只需选择形状掩码SH即可；形状判别器用于判别输入的形状图像是贴纸...

【专利技术属性】
技术研发人员：沈蒙，于灏，孙润庚，王明慧，魏雅倩，祝烈煌，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：