生成人脸对抗补丁的方法和装置制造方法及图纸

本说明书实施例提供一种生成人脸对抗补丁的方法和装置。在该方法中，首先获取初始对抗补丁，然后获取不包含攻击者人脸图像的人脸图像集。接着，分别利用人脸图像集中的各张人脸图像，对初始对抗补丁进行第一轮优化，得到第一对抗补丁；其中第一轮优化使得，叠加有补丁的各张人脸图像与目标人脸图像之间的相似度增加。接着，在第一对抗补丁的基础上，对补丁进行第二轮优化，使得叠加补丁的攻击者图像与目标人脸图像之间的相似度增加，且与攻击者自身图像之间的相似度降低。

【技术实现步骤摘要】
生成人脸对抗补丁的方法和装置
本说明书一个或多个实施例涉及机器学习领域，尤其涉及用于对抗训练人脸识别模型的对抗补丁的生成方法和装置。
技术介绍
随着人脸识别模型的大规模应用，针对模型的攻击层出不穷，需要及时跟进研究，发现潜在的攻击手段，将危险防范于未然。众多攻击方法中，对抗样本是一种新型的，攻击性较强的攻击手段。对抗样本可以通过对原人脸图像添加肉眼几乎不可见的扰动，而使得人脸识别模型以高置信度输出一个错误的识别结果。通过对抗样本对人脸识别模型进行攻击的方式主要有两种，通过全图扰动或对特定区域施加扰动构造对抗补丁来生成对抗样本。在物理世界中，例如使用人脸识别模型的刷脸支付系统、门禁系统等情况下，无法对背景、环境添加扰动，因此往往利用对抗补丁进行攻击。对抗补丁一般是基于局部扰动而形成的图像区域。例如，对抗补丁可以是针对特定的模型与目标人脸，生成一张可打印的2D图片或3D物体，并通过粘贴、佩戴等方式放置于攻击者面部某区域，以实现被攻击模型将带有对抗补丁的攻击者识别为目标人物。对抗补丁需要基于攻击者人脸图像和目标人脸图像而生成。本文档来自技高网...

【技术保护点】
1.一种生成人脸对抗补丁的方法，包括：/n获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；/n获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；/n在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；/n在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二...

【技术特征摘要】
1.一种生成人脸对抗补丁的方法，包括：
获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
获取人脸图像集，所述人脸图像集不包含所述攻击者的人脸图像；
在所述初始对抗补丁基础上，分别针对所述人脸图像集中的各张人脸图像，以减小第一损失函数为目标，迭代地对当前对抗补丁进行第一调整，得到针对所述人脸图像集更新的第一对抗补丁；其中，所述第一损失函数与第一相似度负相关，所述第一相似度为，利用所述目标识别模型计算的、叠加有当前对抗补丁的各张人脸图像与所述目标人脸图像之间的相似度；
在所述第一对抗补丁的基础上，以减小第二损失函数为目标，迭代地对当前对抗补丁进行第二调整，得到第二对抗补丁，其中，所述第二损失函数与第二相似度负相关，且与第三相似度正相关，所述第二相似度为，叠加有当前对抗补丁的攻击者图像与所述目标人脸图像之间的相似度，所述第三相似度为，叠加有当前对抗补丁的攻击者图像与原始攻击者图像之间的相似度，所述第二相似度和第三相似度均利用所述目标识别模型计算得到。


2.根据权利要求1所述的方法，其中，获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁，包括：
在预定图像区域，生成对抗补丁模板；
利用所述目标识别模型，分别计算叠加有对抗补丁的所述攻击者图像对应的第一特征向量和所述目标人脸图像对应的第二特征向量，并计算第一特征向量和第二特征向量之间的向量相似度；
以增加所述向量相似度为目标，调整所述对抗补丁模板中的图像参数，得到所述初始对抗补丁。


3.根据权利要求1所述的方法，其中，所述获取人脸图像集，包括：
获取备选人脸图像；
利用所述目标识别模型计算所述备选人脸图像与所述攻击者图像之间的相似度；
在所述相似度小于预设阈值的情况下，将所述备选人脸图像归入所述人脸图像集。


4.根据权利要求1所述的方法，其中，所述第一损失函数还与第一距离负相关，所述第一距离为所述当前对抗补丁与所述初始对抗补丁之间的距离。


5.根据权利要求1或4所述的方法，其中，所述第一损失函数还包括正则化项，所述正则化项表示所述当前对抗补丁中图像参数的绝对大小。


6.根据权利要求1所述的方法，其中，迭代地对当前对抗补丁进行第一调整，包括：
在所述第一损失函数减小的方向，确定当前对抗补丁中图像参数的参数梯度；
基于所述当前对抗补丁中图像参数的当前参数值，以预设步长叠加所述参数梯度，从而进行所述第一调整。


7.根据权利要求6所述的方法，其中，确定当前对抗补丁中图像参数的参数梯度包括，采用以下方式之一，确定所述参数梯度：
投影梯度下降PGD方式，快速梯度符号法FGSM，动量迭代IM-FGSM。


8.根据权利要求1所述的方法，其中，所述第二损失函数包括第一损失项，所述第一损失项为所述第三相似度减去预定相似度阈值得到的差值与0之中的较大者。


9.根据权利要求1所述的方法，其中，还包括：
将所述第二对抗补丁叠加在所述攻击者图像上，生成第一对抗样本。


10.根据权利要求9所述的方法，还包括：
利用所述第一对抗样本，训练判别器，所述判别器用于判别输入的人脸图像是否包含对抗补丁。


11.一种生成人脸对抗补丁的装置，包括：
初始补丁获取单元，配置为获取基于攻击者图像和目标人脸图像，针对目标识别模型而生成的初始对抗补丁；
人脸集获取单元，配置为获取人脸图像集，所述人...

【专利技术属性】
技术研发人员：傅驰林，张晓露，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33