基于属性编辑的人脸对抗攻击样本生成方法及系统技术方案

本发明专利技术提出一种基于属性编辑的人脸对抗攻击样本生成方法和系统，针对输入的真实人脸图以及需要被识别成的目标图进行隐空间映射到低维的流形内表示，同时通过特征层融合的方法提升人脸身份信息的相似性。属性编辑步骤通过设计一组属性编辑参数，针对属性选择步骤得到的最佳编辑属性进行编辑强度的优化，同时引入了多种优化图像生成效果的控制，在达到最佳的模型攻击成功率的同时保持编辑后的图像效果以及肉眼识别的身份信息不变。以检测人脸识别模型的鲁棒性以及微调人脸识别模型，以提高其识别准确性。其识别准确性。其识别准确性。

【技术实现步骤摘要】
基于属性编辑的人脸对抗攻击样本生成方法及系统


[0001]本方法属于人工智能算法稳健性与安性、鲁棒性评估
，特别涉及一种基于属性编辑的人脸识别对抗攻击样本生成方法和系统。

技术介绍

[0002]人脸识别作为一种生物特征识别技术利用人脸的视觉特征进行身份识别，具有非侵扰性、非接触性、友好性和便捷性等优点。随着人工智能技术的发展，基于卷积神经网络(CNN)提取人脸特征使得人脸识别技术的能力得到了进一步的提升，并广泛应用于日常生活中，如：人脸识别门禁、刷脸解锁、支付等。对抗攻击(Adversarial Attack)是指向输入数据中添加一些无法被人类察觉的噪声，使得模型对输入数据做出错误的判断，以达到迷惑或者愚弄智能模型的目的，添加的噪声称为对抗扰动(Adversarial Perturbation)，而添加噪声后得到的样本则被称为对抗样本(Adversarial Example)。人脸识别系统，也非常容易收到对抗攻击的攻击的威胁。根据目的不同可以将人脸识别对抗攻击的威胁分为两类：
[0003]●
冒充攻击：添加对抗扰动后，人脸识别模型将输入人脸图像识别为指定人物。
[0004]●
躲避攻击：添加对抗扰动后，人脸识别模型将输入人脸图像识别错误(识别为除真实人物以外的任何人物)。
[0005]我们可以利用对抗攻击的手段，评估人脸识别系统在实际应用中的对抗鲁棒性(Adversarial Robustness)。评估模型的对抗鲁棒性可以使用对抗攻击成功率进行衡量，例如使用100张对抗样本，输入目标模型，通过模型输出的结果，使用“成功攻击的样本数量/总样本量”作为对抗鲁棒性评估结果。攻击成功率越低说明模型对此类攻击方法的鲁棒性越强，反之亦然。
[0006]基于对抗样本和上述抗鲁棒性评估结果，可以进一步提升模型的鲁棒性和安全性。例如将生成的对抗样本作为模型的训练数据，对模型进行微调，或将生成的对抗样本用于训练二分类器，区分输入样本是否为对抗样本。
[0007]数字世界人脸识别对抗攻击方法，大都通过一个优化过程来生成对抗样本，根据对抗扰动添加的空间可以分为基于图像域的对抗攻击方法和基于隐空间的对抗攻击方法。基于图像域的对抗攻击方法，通常将扰动图像每个像素的像素值，限制像素值的改变大小约束生成的对抗样本的视觉效果，包括利用快速梯度符号法(fastgradientsign method,FGSM)，将构建对抗性图像的非凸优化问题近似转化为线性形式，但该算法无法保证攻击成功率，尤其在定向攻击中成功率较低。随后，后人提出通过多轮迭代来改进快速梯度符号法，但代价是增加了计算量。后人提出随快速梯度符号法(randomized fast gradient sign method)，主要思想是在梯度计算之前对输入样本添加随机扰动，跳出数据点附近的大曲率，使快速梯度符号法生成的对抗样本更具泛化能力。后人提出另外一种基于决策超平面的对抗样本生成技术，利用目标模型的迭代线性表示来生成对抗样本。由于该方法是限定神经网络下的超平面问题，因此在非神经网络模型上的应用相当有限，算法的通用性较低且需要大量时间分析模型特性。这类方法有较快的迭代速度，实现简单，但由于扰动添
加在像素域可以通过简单的图像变换，如：滤波等进行防御，且迁移能力、视觉效果难以保证。基于隐空间的对抗攻击方法，将对抗扰动添加图像隐空间(特征层)利用编码器(Encoder)将图像有空间域转换到隐空间，通过在图像隐空间的特征(Latent Code)上添加对抗扰动得到对抗编码(Adversarial Latent Code)在利用生成器，如：对抗生成网络(Generative adversarial network,GAN)将图像从隐空间重新映射回空间域，得到最终的对抗样本。对抗样本的迁移能力非常容易受到初始化的影响，陷入局部最优，且对抗样本的迁移能力与搜索空间相关，当搜索空间不断增大时，对抗样本的迁移能力先增加后减小，当搜索空间非常大时，由于对抗样本过拟合到替代模型，导致对抗样本的迁移能力有明显的下降。通过在基于人脸数据与训练的生成模型学习到的流形上优化对抗扰动，一方面提供了充足的搜索空间，另一方面生成模型学习的流形提供了更好的正则化，同时能够生成和对抗任务语义相关的特征(人脸)，使得替代模型和目标模型能够被有效地联系起来，有效提高了对抗样本的迁移能力。
[0008]近年来，深度学习技术不断发展，并且在计算机视觉领域取得了广泛的应用。一方面，深度学习技术引领了新一轮的人工智能浪潮，但另一方面深度学习引发的一系列安全问题也引起了越来越多的关注。目前基于深度学习的图像、视频识别技术广泛地被应用于人们生活中的方方面面，例如网络内容智能监管、自动视频监控分析、基于人脸识别地门禁系统、刷脸支付等。在这些关键应用领域，信息和数据的可靠性与安全性应当受到重视并得到保障。2017年以来，一些基于深度伪造(又称DeepFake)技术生成的虚假图像和视频在互联网上引起了广泛的关注，尤其是当深度伪造用于影响力巨大的人物身上时往往会借助该人的影响力而产生更大的影响。此外，大量“一键式”换脸的软件，使得伪造视频的获取越来越简单。虚假图像和视频已经成为目前最显著的信息数据安全隐患之一，其检测和监管面临着巨大的挑战。
[0009]AI合成的假脸存在巨大的威胁，能够以接近真实的面部表情和身体动作来创建目标人做某事或说某事的假象的视频，颠覆了人们对“眼见为实”观念的认知。业界迫切需要一种有效的技术来检测网络环境中的虚假人脸图像或视频，但其难度巨大，主要因为人脸伪造图像的伪造区域微弱且局部存在。进行检测时极易受到图像噪声的影响。另外伪造区域往往不可预知，每种伪造方法针对的区域不同，如何正确的检测到伪造区域并进行分类有很大的难度。
[0010]深度伪造检测的图像大致可以分为：基于图像伪造缺陷、改进网络结构、多特征融合、借助其他任务的方法。
[0011]基于图像伪造缺陷的方法该方法是主流方法，试图挖掘人脸在伪造过程中，因缩放、旋转、扭曲等操作导致的不一致现象来进行检测。一种基于CNN的检测方法，通过检测面部区域和面部周围区域，以检测因篡改导致图像面部分辨率较低的现象。一种面部X
‑
ray的方法，该方法通过设计面部轮廓蒙版，引导模型去关注容易出现伪造区域的面部轮廓区域，该方法取得了较好的泛化效果。
[0012]改进网络结构的方法该类方法致力于通过改造或改进分类网络，提高模型对真假分类的效果。基于介观和隐写分析特征的方法，提出了两个不同的网络来关注图像的介观特性，分别是Meso
‑
4网络和引入了Inception模块的Meso
‑
4网络的变体。一种基于胶囊网络(CapsuleNetworks)的伪造检测系统，该方法与传统CNN相比参数更少。
[0013]多特征融合的方法，该类方法尝试从图像中获取更多可用于鉴伪的特征。用频域特征进行伪造检测，发现伪造图像在频域中伪造的痕迹，随后基于经典频域分析，使用SV本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于属性编辑的人脸对抗攻击样本生成方法，其特征在于，包括：步骤1、将原始人脸图像x
src
和目标身份图像x
tgt
各自的隐空间向量混合，得到隐空间向量z
mix
；步骤2、在隐空间向量z
mix
上叠加编辑属性向量ω
s
与属性编辑方向B的乘积，得到属性选择后的隐空间向量，基于该属性选择后的隐空间向量生成选择图像x
selected
；步骤3、在隐空间向量z
mix
上叠加编辑属性向量ω
s
与用于控制属性编辑幅度的权重矩阵ω
e
的乘积，得到属性编辑后的隐空间向量，基于该属性编辑后的隐空间向量生成编辑图像x
edited
；步骤4、分别根据编辑图像x
edited
和选择图像x
selected
两者与目标身份图像x
tgt
的相似度构建第一损失函数和第二损失函数；根据生成人脸图像和目标身份图像x
tgt
的相似度构建第三损失函数；并通过第四损失函数限制权重矩阵ω
e
的标准差；步骤5、以该第一损失函数至该第四损失函数构成的总损失函数，以该总损失函数训练调整编辑属性向量ω
s
和权重矩阵ω
e
，直到总损失函数收敛，保存当前编辑图像x
edited
为对抗样本，且该对抗样本的人物身份标签为该原始人脸图像的人物身份。2.如权利要求1所述的基于属性编辑的人脸对抗攻击样本生成方法，其特征在于，该第一损失函数和第二损失函数分别为：分别为：其中f(.)表示图片的特征提取器，D(.)表示两个特征之间的余弦相似度，且该特征提取器为预训练的人脸识别模型。3.如权利要求1所述的基于属性编辑的人脸对抗攻击样本生成方法，其特征在于，该步骤5包括：以待鲁棒性评估的人脸识别模型对该对抗样本的识别正确率作为该人脸识别模的对抗鲁棒性评估结果。4.如权利要求1所述的基于属性编辑的人脸对抗攻击样本生成方法，其特征在于，该步骤5包括：以该对抗样本对目标人脸识别模型进行微调，以提高该目标人脸识别模型的识别准确度。5.一种基于属性编辑的人脸对抗攻击样本生成系统，其特征在于，包括：隐空间映射模块，用于将原始人脸图像x
s...

【专利技术属性】
技术研发人员：曹娟，徐榆，王子昂，方凌飞，唐胜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：