本发明专利技术公开了一种定向攻击人脸识别的对抗样本生成方法和装置、电子设备，包括：对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫正图像和第二矫正图像；计算所述第一矫正图像在人脸识别模型上的类别激活映射图；基于类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位；得到归一化后的第一人脸特征和第二人脸特征；对第二矫正图像进行扰动处理，得到多个扰动图像；计算损失函数；计算攻击者的第一图像对损失函数的第一梯度值；依据第一梯度值更新攻击者的第一图像；在攻击部位调整迭代次数达到预设上限值时，将更新后的第一图像作为目标攻击者图像。本发明专利技术公开的方法，对对抗样本的修改区域小，生成的对抗样本不易被识破。不易被识破。不易被识破。
【技术实现步骤摘要】
一种定向攻击人脸识别的对抗样本生成方法和装置、电子设备
[0001]本专利技术涉及图像处理
，尤其涉及一种定向攻击人脸识别的对抗样本生成方法和装置、电子设备。
技术介绍
[0002]随着人脸识别模型的应用，针对模型的攻击，需要及时跟进研究，发现潜在的攻击手段，将危险防范于未然。众多攻击方法中，对抗样本是一种新型的、攻击性较强的攻击手段。对抗样本可以通过对原人脸图像添加肉眼几乎不可见的扰动，而使得人脸识别模型以高置信度输出一个错误的识别结果。
[0003]通过对抗样本对人脸识别模型进行攻击的方式主要有两种，通过全图扰动或对特定区域施加扰动构造对抗补丁来生成对抗样本。这两种对抗样本生成方式，对伪装图片的修改范围过大，易被人脸识别模型识别出是对抗样本。
技术实现思路
[0004]本专利技术实施例的目的是提供一种定向攻击人脸识别的对抗样本生成方法和装置、电子设备，能够解决现有技术中存在的对抗样本易被识破的问题。
[0005]为解决上述技术问题，本专利技术提供如下技术方案：
[0006]本专利技术实施例提供了一种定向攻击人脸识别的对抗样本生成方法，其中，所述方法包括：
[0007]对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫正图像和第二矫正图像；
[0008]计算所述第一矫正图像在人脸识别模型上的类别激活映射图；
[0009]基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位；
[0010]通过人脸识别模型对所述第一矫正图像和所述第二矫正图像作前向推理，得到归一化后的第一人脸特征和第二人脸特征；其中，所述第一人脸特征为所述第一矫正图像对应的特征，所述第二人脸特征为所述第二矫正图像对应的特征；
[0011]按照预设扰动规则对所述第二矫正图像进行扰动处理，得到多个扰动图像；
[0012]基于所述第一人脸特征、第二人脸特征以及所述扰动图像，计算损失函数；
[0013]计算攻击者的第一图像对所述损失函数的第一梯度值；
[0014]依据所述第一梯度值更新攻击者的第一图像；
[0015]判断攻击部位调整迭代次数是否达到预设上限值；
[0016]若否，在满足掩罩矩阵更新条件的情况下，调整掩罩矩阵返回执行基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位的步骤；
[0017]若是，将更新后的所述第一图像作为目标攻击者图像。
[0018]可选地，所述对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫
正图像和第二矫正图像的步骤，包括：
[0019]分别对攻击者的第一图像和被攻击者的第二图像进行人脸检测，得到第一人脸关键点和第二人脸关键点；
[0020]将所述第一图像中的所述第一人脸关键点与标准关键点模板做对齐，得到第一矫正图像；
[0021]将所述第二图像中的所述第二人脸关键点与标准关键点模板做对齐，得到第二矫正图像。
[0022]可选地，基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位的步骤，包括：
[0023]对所述类别激活映射图划分成预设数量的网格，并计算每个所述网格中各像素点的像素均值以及网格中心点坐标；将各网格中心点按照对应的像素均值进行排序，得到中心点坐标序列；
[0024]确定初始掩罩矩阵；
[0025]取中心点坐标序列及其对应的宽高序列的前K个值，组成K个区域，将所述K个区域内部像素值置为1，其中，所述K个区域为图像中的攻击部位。
[0026]可选地，基于所述第一人脸特征、第二人脸特征以及所述扰动图像，计算损失函数的步骤，包括：
[0027]基于所述第二人脸特征和所述扰动图像，确定扰动人脸特征；
[0028]依据所述第一人脸特征和所述扰动人脸特征，计算损失函数。
[0029]可选地，在满足掩罩矩阵更新条件的情况下，调整掩罩矩阵的步骤，包括：
[0030]在满足掩罩矩阵更新条件的情况下，确定调整后的掩罩矩阵的宽序列值和高序列值；
[0031]依据调整后的宽序列值和高序列值，更新掩罩矩阵。
[0032]本专利技术实施例提供了一种定向攻击人脸识别的对抗样本生成装置，其中，所述装置包括：
[0033]矫正模块，用于对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫正图像和第二矫正图像；
[0034]计算模块，用于计算所述第一矫正图像在人脸识别模型上的类别激活映射图；
[0035]第一确定模块，用于基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位；
[0036]第二确定模块，用于通过人脸识别模型对所述第一矫正图像和所述第二矫正图像作前向推理，得到归一化后的第一人脸特征和第二人脸特征；其中，所述第一人脸特征为所述第一矫正图像对应的特征，所述第二人脸特征为所述第二矫正图像对应的特征；
[0037]扰动处理模块，用于按照预设扰动规则对所述第二矫正图像进行扰动处理，得到多个扰动图像；
[0038]第一计算模块，用于基于所述第一人脸特征、第二人脸特征以及所述扰动图像，计算损失函数；
[0039]第二计算模块，用于计算攻击者的第一图像对所述损失函数的第一梯度值；
[0040]更新模块，用于依据所述第一梯度值更新攻击者的第一图像；
[0041]判断模块，用于判断攻击部位调整迭代次数是否达到预设上限值；
[0042]执行模块，用于若否，在满足掩罩矩阵更新条件的情况下，调整掩罩矩阵返回调用所述第一确定模块；若是，将更新后的所述第一图像作为目标攻击者图像。
[0043]可选地，所述矫正模块包括：
[0044]第一子模块，用于分别对攻击者的第一图像和被攻击者的第二图像进行人脸检测，得到第一人脸关键点和第二人脸关键点；
[0045]第二子模块，用于将所述第一图像中的所述第一人脸关键点与标准关键点模板做对齐，得到第一矫正图像；
[0046]第三子模块，用于将所述第二图像中的所述第二人脸关键点与标准关键点模板做对齐，得到第二矫正图像。
[0047]可选地，所述第一确定模块包括：
[0048]第四子模块，用于对所述类别激活映射图划分成预设数量的网格，并计算每个所述网格中各像素点的像素均值以及网格中心点坐标；将各网格中心点按照对应的像素均值进行排序，得到中心点坐标序列；
[0049]第五子模块，用于确定初始掩罩矩阵；
[0050]第六子模块，用于取中心点坐标序列及其对应的宽高序列的前K个值，组成K个区域，将所述K个区域内部像素值置为1，其中，所述K个区域为图像中的攻击部位。
[0051]可选地，所述第一计算模块包括：
[0052]第七子模块，用于基于所述第二人脸特征和所述扰动图像，确定扰动人脸特征；
[0053]第八子模块，用于依据所述第一人脸特征和所述扰动人脸特征，计算损失函数。
[0054]可选地，所述执行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种定向攻击人脸识别的对抗样本生成方法，其特征在于，所述方法包括：对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫正图像和第二矫正图像；计算所述第一矫正图像在人脸识别模型上的类别激活映射图；基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位；通过人脸识别模型对所述第一矫正图像和所述第二矫正图像作前向推理，得到归一化后的第一人脸特征和第二人脸特征；其中，所述第一人脸特征为所述第一矫正图像对应的特征，所述第二人脸特征为所述第二矫正图像对应的特征；按照预设扰动规则对所述第二矫正图像进行扰动处理，得到多个扰动图像；基于所述第一人脸特征、第二人脸特征以及所述扰动图像，计算损失函数；计算攻击者的第一图像对所述损失函数的第一梯度值；依据所述第一梯度值更新攻击者的第一图像；判断攻击部位调整迭代次数是否达到预设上限值；若否，在满足掩罩矩阵更新条件的情况下，调整掩罩矩阵返回执行基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位的步骤；若是，将更新后的所述第一图像作为目标攻击者图像。2.根据权利要求1所述的方法，其特征在于，所述对攻击者的第一图像和被攻击者的第二图像进行矫正，得到第一矫正图像和第二矫正图像的步骤，包括：分别对攻击者的第一图像和被攻击者的第二图像进行人脸检测，得到第一人脸关键点和第二人脸关键点；将所述第一图像中的所述第一人脸关键点与标准关键点模板做对齐，得到第一矫正图像；将所述第二图像中的所述第二人脸关键点与标准关键点模板做对齐，得到第二矫正图像。3.根据权利要求1所述的方法，其特征在于，基于所述类别激活映射图和所确定的掩罩矩阵，确定图像中的攻击部位的步骤，包括：对所述类别激活映射图划分成预设数量的网格，并计算每个所述网格中各像素点的像素均值以及网格中心点坐标；将各网格中心点按照对应的像素均值进行排序，得到中心点坐标序列；确定初始掩罩矩阵；取中心点坐标序列及其对应的宽高序列的前K个值，组成K个区域，将所述K个区域内部像素值置为1，其中，所述K个区域为图像中的攻击部位。4.根据权利要求1所述的方法，其特征在于，基于所述第一人脸特征、第二人脸特征以及所述扰动图像，计算损失函数的步骤，包括：基于所述第二人脸特征和所述扰动图像，确定扰动人脸特征；依据所述第一人脸特征和所述扰动人脸特征，计算损失函数。5.根据权利要求1所述的方法，其特征在于，在满足掩罩矩阵更新条件的情况下，调整掩罩矩阵的步骤，包括：在满足掩罩矩阵更新条件的情况下，确定调整后的掩罩矩阵的宽序列值和高序列值；
依据调整后的宽序列值和高序列值，更新掩罩矩阵。6.一种定向攻击人脸识别的对...
【专利技术属性】
技术研发人员：胡炳然，刘青松，张泓奕，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。