一种基于限制搜索空间的人脸识别对抗样本生成方法技术

本发明专利技术公开了一种基于限制搜索空间的人脸识别对抗样本生成方法。该方法具体步骤为：(1)对图像数据集进行预处理；(2)将预处理后的图像作为数据预训练生成器模型；(3)将预处理后的图像输入至生成器模型生成对抗样本，然后将生成的对抗样本和经预处理的图像送入判别器进行特征提取，将提取到的特征通过全连接层输出预测分数；(4)将生成的对抗样本和经预处理后的图像送入人脸识别模型进行特征提取，然后通过比较提取到的特征余弦相似度作为目标函数，再通过反向传播的方法优化目标函数。本发明专利技术利用了限制搜索空间的手段，能在一定程度上解决人脸识别对抗样本生成中常见的泛化性不足问题，得到更有效的对抗样本。得到更有效的对抗样本。得到更有效的对抗样本。

【技术实现步骤摘要】
一种基于限制搜索空间的人脸识别对抗样本生成方法


[0001]本专利技术涉及人脸识别对抗样本生成
，特别涉及一种基于限制搜索空间的人脸识别对抗样本生成方法。

技术介绍

[0002]根据调查显示，人脸传达了人类身份判断的绝大部分信息量，在几种身份判断方法中，人脸是最主要的判断依据。因此在过去的几十年中，人脸识别的研究不仅在感知科学和认知科学上，而且在社会生活，安防领域中得到了广泛的关注。因此解读人脸识别，研究人脸识别中的细分领域即对抗样本的生成方法成为了研究话题。人脸识别对抗样本的生成方法是一种生成能够干扰人脸识别的图案的方法。令特征在模型输出的超球面产生迁移角。
[0003]二十世纪六十年代，人脸识别技术开始兴起。随着深度学习的技术发展，作为人脸识别研究的重要组成部分，人脸识别对抗样本生成技术得到了广泛关注。人脸识别对抗样本的生成是极具挑战性和创新性的研究课题，它是由心理学、计算机视觉、深度学习等领域的相关知识结合所形成的。根据生成技术的性质，目前有几个重要的应用场景(1)解释人脸识别：赋予黑盒的人脸识别模型更好的可解释性来帮助人们理解其工作原理，进一步推进人脸识别的研究；(2)测试手段：通过生成的对抗样本测试人脸识别在不同条件下的鲁棒性，从而检测人脸识别的工作性能。(3)扩充数据：通过生成的对抗样本补充有限的数据，提高人脸识别质量。
[0004]考虑到人脸识别对抗样本生成框架以及各类应用场景中各种不可预测的因素，目前生成技术仍存在以下的挑战：(1)生成过程的稳定性：生成技术具有复杂性，生成过程往往会受到多种因素不同程度的干扰，但是目前公开的生成技术往往是不加搜索空间限制的，在高维流形空间中样本潜在形式易受多种因素干扰从而造成不稳定生成过程，因此生成过程的稳定性存在难点；(2)生成过程的有效性：从对抗样本方面来说，在应用场景中的生成结果的质量取决于在人脸识别输出的超球面引入的特征迁移角大小，该过程易受到脸部姿态和光照的影响，提高生成结果可以产生的类间和类内迁移距离的范数是一项有待探索和解决的任务。综上所述，人脸识别对抗样本的生成方法还是一个开放性的问题，需要人们不断探索。
[0005]对于生成的稳定性问题，研究的重点在于如何通过压缩敏感因子来提高输出对敏感因子不变性，而如何压缩敏感因子往往是复杂且多阶段的。Yin(Yin,Bangjie et al.“Adv
‑
Makeup:A New Imperceptible and Transferable Attack on Face Recognition.”IJCAI(2021).)通过压缩尺寸和颜色空间来减小不确定因素的占比，限制生成样本颜色范围。Tong(Tong,L.,Chen,Z.,Ni,J.,Cheng,W.,Song,D.,Chen,H.,&Vorobeychik,Y.(2021).FACESEC:A Fine
‑
grained Robustness Evaluation Framework for Face Recognition Systems.2021IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),13249
‑
13258.)设计了一个生成框架，其中对抗样本由规定的像素图案形状经过仿
射变换拼接而成，对因此样本形状和像素选取空间组成被施加强限制。Li(Li,Lingzhi et al.“Advancing High Fidelity Identity Swapping for Forgery Detection.”2020IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)(2020):5073
‑
5082.)将对抗样本的生成域限制在指定空间，从而限定了高维流形中样本的概率空间，得到更加稳定的样本解。在这个问题上，Xiao(Xiao,Z.,Gao,X.,Fu,C.,Dong,Y.,Gao,W.,Zhang,X.,Zhou,J.,&Zhu,J.(2021).Improving Transferability of Adversarial Patches on Face Recognition with Generative Models.2021IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),11840
‑
11849.)目前取得了好的表现，提出的方法在范数和概率约束下，在流形空间维度中充分利用了分布约束来提升稳定性。
[0006]对于生成过程有效性问题，往往会引入多重融合机制，将生成过程中多方向的预训练好的人脸识别模型通过平均或其他池化方式进行融合，从而减小在某个单独方向上的偏移。上述的研究者Xiao考虑到不同的人脸识别模型除提取身份特征外存在数据集偏移，提出了基于平均池化的方式对多个人脸识别模型的输出结果取平均，融合结果以提升性能。

技术实现思路

[0007]针对人脸识别对抗样本生成领域中的稳定性和有效性问题，目前的研究存在复杂且多阶段的缺陷。本专利技术的目的是提出一种基于限制搜索空间的人脸识别对抗样本生成方法，利用更简单、更高效的框架来提高生成过程的稳定性，从而提高对抗样本在超球面中带来的迁移角。
[0008]为达上述目的，本专利技术采用的技术方案如下：
[0009]一种基于限制搜索空间的人脸识别对抗样本生成方法，该方法的步骤包括：
[0010]步骤1，对人脸图像数据集进行预处理，图像数据集中包括人脸对应的真实身份标签数据；
[0011]步骤2，将预处理后的人脸图像作为数据预训练生成器模型网络：先将预处理后的人脸图像输入到生成器模型，然后设计生成器模型的第一目标函数，限制生成器模型的搜索空间中心为输入的预处理图像；
[0012]步骤3，将步骤1经预处理后的人脸图像输入至步骤2预训练好的生成器模型网络中，生成器模型输出对抗样本，然后将所述对抗样本和步骤1经预处理后的人脸图像送入判别器模型提取特征，再将提取到的特征通过全连接层输出预测分数，根据预测分数分别设计生成器模型的第二目标函数和判别器模型的第三目标函数；然后通过反向传播的方法优化第二目标函数和第三目标函数，优化生成器模型和判别器模型的参数；
[0013]步骤4，将步骤3生成的对抗样本和步骤1经预处理后的人脸图像送入经过预训练的人脸识别模型进行特征提取，先将对抗样本覆盖到经预处理后的人脸图像，然后将覆盖对抗样本后的人脸图像送入所述人脸识别模型进行特征提取；通过比较提取到的特征余弦相似度作为生成器模型的第四目标函数，再通过反向传播的方法优化第四目标函数，进而令生成器模型生成优化的对抗样本。
[0014]本专利技术提出的一种基于限制搜索空间的人脸识别对抗样本生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于限制搜索空间的人脸识别对抗样本生成方法，其特征在于，该方法的步骤包括：步骤1，对人脸图像数据集进行预处理，图像数据集中包括人脸对应的真实身份标签数据；步骤2，将预处理后的人脸图像作为数据预训练生成器模型网络：先将预处理后的人脸图像输入到生成器模型，然后设计生成器模型的第一目标函数，限制生成器模型的搜索空间中心为输入的预处理图像；步骤3，将步骤1经预处理后的人脸图像输入至步骤2预训练好的生成器模型网络中，生成器模型输出对抗样本，然后将所述对抗样本和步骤1经预处理后的人脸图像送入判别器模型提取特征，再将提取到的特征通过全连接层输出预测分数，根据预测分数分别设计生成器模型的第二目标函数和判别器模型的第三目标函数；然后通过反向传播的方法优化第二目标函数和第三目标函数，优化生成器模型和判别器模型的参数；步骤4，将步骤3生成的对抗样本和步骤1经预处理后的人脸图像送入经过预训练的人脸识别模型进行特征提取，先将对抗样本覆盖到经预处理后的人脸图像，然后将覆盖对抗样本后的人脸图像送入所述人脸识别模型进行特征提取；通过比较提取到的特征余弦相似度作为生成器模型的第四目标函数，再通过反向传播的方法优化第四目标函数，进而令生成器模型生成优化的对抗样本。2.根据权利要求1所述的一种基于限制搜索空间的人脸识别对抗样本生成方法，其特征在于，所述步骤1中，预处理具体为：将人脸图像对齐，然后裁剪人脸图像的部分区域作为图像数据集，并对数值归一化。3.根据权利要求1所述的一种基于限制搜索空间的人脸识别对抗样本生成方法，其特征在于，所述步骤2中，预训练生成器模型的方法为：步骤21，将步骤1预处理后的人脸图像数据集X中每张图像x，送入生成器模型得到输出图像x
′
；x
′
代表生成器模型对输入图像x所产生的输出；步骤22，设定生成器模型的第一目标函数为图像x
′
和x之间差值的一范数和二范数的平均；利用反向传播优化目标函数，限制生成器的搜索空间中心为输入的预处理图像。4.根据权利要求1所述的一种基于限制搜索空间的人脸识别对抗样本生成方法，其特征在于，所述步骤3中，根据预测分数设计生成器模型的第二目标函数为：其中，x
i
是经过预处理的人脸图像块，K是指人脸图像块x
i
的采样数量，G(x
i
)是生成器模型对人脸图像块x
i
所生成的对抗样本，D(G(x
i
))是判别器对生...

【专利技术属性】
技术研发人员：佘加辉，沈秋，曹汛，
申请(专利权)人：南京大学，
类型：发明
国别省市：