【技术实现步骤摘要】
本专利技术属于人脸融合攻击协助者面部溯源领域，涉及一种基于stylegan2的双分离人脸融合攻击协助者面部溯源方法。
技术介绍
1、随着人脸识别技术的快速发展，它已成为一种普遍采用的生物身份验证技术。在日常生活中，我们经常会遇到人脸识别技术的应用，尤其是在手机面部解锁和各种门禁系统中。然而，人脸变形攻击的出现让人们认识到，尽管人脸识别技术已经得到广泛应用，但并非绝对安全。人脸变形攻击是指将多个人脸图像(通常为两个人，参考人脸和协助者)合成为单个人脸，这种融合变形的人脸具有两个人的身份特征，使其看起来与两个人都具有一定的相似度，从而欺骗人脸识别系统。人脸识别系统通过将真实人脸与人脸数据库中的信息进行匹配，进行个人身份验证。然而，如果存储在人脸数据库中的一个人脸信息可以与两张或多张真实人脸信息匹配，就会导致人脸变形攻击的发生。这种攻击已被证明是一种有效的欺骗手段，对生物识别系统，尤其是广泛部署的边界控制系统和电子旅行证件，构成了严重的安全隐患。费拉拉等人最早提到了人脸变形攻击，它可以轻易欺骗自动边界控制系统中的人脸识别系统。这意味着被通缉的参考人脸可以使用同伙的面部图像经过变形处理，从而获得合法的电子护照或电子旅行证件。
2、这种攻击打破了护照或电子机读旅行证件等身份证明文件的单一所有权规则。如果参考人脸使用这种变形图像进行护照登记，那么两个人都可以通过人脸识别系统。在过境时，将存储在电子机读旅行证件或护照中的面部图像与声称拥有该身份证件的人进行比较。如果登记的面部图像与实时图像匹配，则数据主体可以通过边境控制。因此，一
3、目前，针对变形人脸协助者面部恢复的方法相对较少，主要包括基于人脸关键点的方法和基于深度学习的方法。在基于关键点的方法中，直接使用变形的逆过程来恢复协助者面部图像。该方法在已知变形人脸的变形因子时，可以较好地恢复出协助者的人脸图像。然而，如果去变形参数与变形参数有相当大的差异，面部恢复的效果就十分不理想。在基于深度学习的方法中，提出了一种双端对称和两级修复损失的方法，通过这种方式提取协助者的身份特征来进行变形协助者人脸图像的恢复。该方法通过分离出隐藏在变形面部图像中协助者的身份特征，实现了协助者的面部恢复。然而，这些方法存在着恢复出来的图像质量不高以及模型较复杂等问题。因此，对于变形人脸共谋者面部溯源，仍然需要更有效且可靠的方法来提高溯源的准确性和图像质量。
技术实现思路
1、针对上述现有技术的不足，本专利技术提出了一种基于stylegan2的双分离人脸融合攻击协助者面部溯源方法。该方法充分利用了stylegan2生成器的强大图像生成能力，通过我们设计的双特征空间双分离的网络结构，成功实现了协助者身份特征的提取，最终恢复出高质量的人脸图像。
2、本专利技术所采用的技术方案是：一种基于stylegan2的双分离人脸融合攻击协助者面部溯源模型，包括一种双重身份损失训练框架、多层次的特征提取并选取两种类型的特征分别进行分离，最后结合stylegan2生成器实现协助者的面部图像恢复。
3、所述的双重身份损失训练框架是对恢复出来的人脸图像再一次进行特征提取，如果与真实的协助者面部图像所提取的特征无限接近则表表明双分离网络是有效的。
4、所述的多层次的特征提取并选取两种类型的特征，是通过获取多层次的身份特征和采用特征向量和特征张量这两种类型的身份特征进行分离有助于保留更多的身份信息。
5、所述的通过结合stylegan2生成器是通过将分离出来的两种类型的特征结合stylegan2生成器来进行协助者人脸图像的恢复，实现更高质量的图像效果。
6、本方案通过对多层次的特征进行提取，并选取两种类型的特征空间进行特征分离，主要旨在获取更丰富的特征信息。使用特征张量可以保留更多的空间信息，有助于提高图像的感知质量。对于特征向量，通过计算权重向量类似于融合人脸的融合因子，得到与真实协助者特征向量近似的特征向量，再通过一个mlp网络模块辅助得到最终提取出来的特征向量。对于使用特征张量可以保留更多的空间信息，从而可以获取更多的身份信息，通过卷积和通道空间注意力来分离出协助者的特征张量。随后，将分离出的两种特征空间与stylegan2生成器结合，实现了高质量的协助者人脸图像恢复。为了训练该模型，我们对初步分离出的人脸图像进行进一步的特征提取。当使用分离恢复出的人脸提取的特征与真实人脸图像提取的特征一致时，证明我们的网络能够有效地分离协助者的身份特征，并成功恢复出协助者的人脸图像。
本文档来自技高网...【技术保护点】
1.一种基于StyleGAN2的双分离人脸融合攻击协助者面部溯源方法，其特征在于通过对提取的两种类型的特征，特征向量和特征张量分别设计分离网络实现协助者的身份特征提取，实现协助者人脸图像恢复；具体而言，对于特征向量，通过计算权重向量类似于融合人脸的融合因子，得到与真实协助者特征向量近似的特征向量，再通过一个MLP网络模块辅助得到最终提取出来的特征向量，对于使用特征张量可以保留更多的空间信息，从而可以获取更多的身份信息，通过卷积和通道空间注意力来分离出协助者的特征张量，使用了一种双重身份损失训练框架用于协助者人脸图像恢复任务，最后通过结合StyleGAN2生成器来得到更高质量的图像。
2.根据权利要求1所述的基于StyleGAN2的双分离人脸融合攻击协助者面部溯源方法，其特征在于所述的基于StyleGAN2的双分离人脸融合攻击协助者面部溯源模型包括一种双重身份损失训练框架、多层次的特征提取、以及选取两种类型的特征进行分离，最终，通过结合StyleGAN2生成器实现协助者的面部图像恢复。
3.根据权利要求书2所述的基于StyleGAN2的双分离人脸融合攻击协助
4.根据权利要求2所述的基于StyleGAN2的双分离人脸融合攻击协助者面部溯源方法，其特征在于对提取的两种类型的特征，分别设计了分离网络；对于特征张量，从编码器分别得到融合人脸和参考人脸的特征向量，这些向量由N个特征向量块组成，通过对这些特征向量块进行差值运算，得到它们的特征差值。每个特征差值向量单独传入一个网络模块，用于学习预测一个权重向量α，类似于计算出罪犯与协助者的融合因子，获得权重向量α后，根据反向操作的式子进行去混合操作，得到近似的协助者特征张量，为了更完美地分离出协助者的特征张量，还设计了一个小型网络MLP，用于捕获更抽象和复杂的细节特征，该网络的主要作用是弥补上述模块分离不充分，以达到更好的身份信息分离效果。
5.根据权利要求2所述的基于StyleGAN2的双分离人脸融合攻击协助者面部溯源方法，对于特征张量编码器分别获得变形人脸和罪犯的特征张量，首先，经过特征级联操作，然后输入到网络模块进行融合通道信息和特征提取，为了进一步提升分离效果，引入了一个CBAM模块，该模块通过对注意力权重进行自适应的空间和通道方向调整，以增强模型效果，这一步骤旨在使模型更好地分离特征，提高溯源的准确性。
...【技术特征摘要】
1.一种基于stylegan2的双分离人脸融合攻击协助者面部溯源方法，其特征在于通过对提取的两种类型的特征，特征向量和特征张量分别设计分离网络实现协助者的身份特征提取，实现协助者人脸图像恢复；具体而言，对于特征向量，通过计算权重向量类似于融合人脸的融合因子，得到与真实协助者特征向量近似的特征向量，再通过一个mlp网络模块辅助得到最终提取出来的特征向量，对于使用特征张量可以保留更多的空间信息，从而可以获取更多的身份信息，通过卷积和通道空间注意力来分离出协助者的特征张量，使用了一种双重身份损失训练框架用于协助者人脸图像恢复任务，最后通过结合stylegan2生成器来得到更高质量的图像。
2.根据权利要求1所述的基于stylegan2的双分离人脸融合攻击协助者面部溯源方法，其特征在于所述的基于stylegan2的双分离人脸融合攻击协助者面部溯源模型包括一种双重身份损失训练框架、多层次的特征提取、以及选取两种类型的特征进行分离，最终，通过结合stylegan2生成器实现协助者的面部图像恢复。
3.根据权利要求书2所述的基于stylegan2的双分离人脸融合攻击协助者面部溯源方法，其特征在于一种双重身份损失训练框架用于协助者人脸图像恢复任务，该框架通过对初步恢复出来的协助者人脸图像进行进一步的提取特征，如...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。