指定标签的对抗样本生成方法、装置、电子设备及介质制造方法及图纸

本申请提供一种指定标签的对抗样本生成方法及装置、一种电子设备以及一种计算机可读介质。方法包括：将原始图像样本输入预设多标签分类网络，得到用于对原始图像样本进行多标签分类的各个标签的预测分数值；从各个标签的预测分数值中抽取指定标签对应的预测分数值；根据指定标签对应的预测分数值，采用动量快速梯度迭代MI‑FGSM方法生成第一攻击扰动；利用梯度权值类别响应图Grad‑CAM方法对第一攻击扰动进行裁剪，得到第二攻击扰动；将第二攻击扰动叠加到所述原始图像样本上，生成与所述指定标签对应的对抗样本。通过本方案，可以有选择性地生成指定标签的对抗样本，可以用于多标签分类网络数据增广，从而提升多标签分类模型的分类能力。

Generation method, device, electronic equipment and medium of counter sample of specified label

【技术实现步骤摘要】
指定标签的对抗样本生成方法、装置、电子设备及介质
本申请涉及图像识别
，具体涉及一种指定标签的对抗样本生成方法及装置、一种电子设备以及一种计算机可读介质。
技术介绍
近年来，卷积神经网络(ConvolutionalNeuralNetworks,CNN)在计算机视觉的多个应用领域，如图像分类、物体检测、语义分割等，取得了突破性的进展。2014年Szegedy等人发现在图片上添加微小的扰动就可以使得CNN产生分类错误，随即引发了广泛的关注，这种样本称为对抗样本。对抗样本可以划分为多种形式，其中按照CNN模型结构和参数的已知情况，可以分为白盒攻击和黑盒攻击。白盒攻击指攻击者知道神经网络的结构和参数，可以根据神经网络的情况进行针对性的攻击。白盒攻击相对比较容易，但是在现实条件中很难满足。黑盒攻击指攻击者不知道神经网络的具体信息，例如只知道网络的结构而不知道网络的参数或者两者信息都不知道。黑盒攻击还可分为有探测的和无探测的，有探测的指攻击者可以通过向神经网络输入数据来观察输出，根据输入输出情况对网络进行攻击。无探测的指无法通过输入数据观察网络的输出，一般通过攻击通用模型或利用攻击的传递性对网络实施攻击。攻击多标签分类网络的方法可以分为两种，第一种是非指定标签攻击，即只需要攻击使得分类模型对某一标签分类错误；第二种是指定标签攻击，即使得分类模型对某个指定的标签分类失效,同时保持对其他标签分类正确。由于指定标签攻击的对抗样本相对较少，制约了多标签模型分类能力的提升。因此，对于多标签分类网络，如何生成指定标签的对抗样本是本领域亟需解决的技术问题。
技术实现思路
本申请的目的是提供一种指定标签的对抗样本生成方法及装置、一种电子设备以及一种计算机可读介质。本申请第一方面提供一种指定标签的对抗样本生成方法，包括：将原始图像样本输入预设多标签分类网络，得到用于对所述原始图像样本进行多标签分类的各个标签的预测分数值；从所述各个标签的预测分数值中抽取指定标签对应的预测分数值；根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动；利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动；将所述第二攻击扰动叠加到所述原始图像样本上，生成与所述指定标签对应的对抗样本。在本申请的一些实施方式中，所述预设多标签分类网络包括：依次连接的特征提取骨干网络、全连接层和激活函数。在本申请的一些实施方式中，所述根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动，包括：步骤S1、设置MI-FGSM迭代参数，所述迭代参数包括动量momentum、扰动值范围epsilon、迭代步数iternum、迭代步长α；步骤S2、计算出所述指定标签对应的预测分数值关于所述原始图像样本的偏导数grad，以初始化梯度；步骤S3、根据公式攻击扰动noise＝momentum×noise+α×grad更新攻击扰动，并根据扰动值范围epsilon对更新后攻击扰动进行裁剪；步骤S4、重复步骤S3，直到迭代了iternum步为止，得到第一攻击扰动。在本申请的一些实施方式中，所述利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动，包括：通过所述指定标签对应的损失函数对所述原始图像样本在所述预设多标签分类网络的各特征层的特征图像求导并加权求和，得到目标特征图像；通过双线性插值方法将所述目标特征图像还原到与所述原始图像样本相同的尺度，得到Grad-CAM；根据所述Grad-CAM对所述第一攻击扰动进行噪声裁剪，生成第二攻击扰动。本申请第二方面提供一种指定标签的对抗样本生成装置，包括：预测模块，用于将原始图像样本输入预设多标签分类网络，得到用于对所述原始图像样本进行多标签分类的各个标签的预测分数值；抽取模块，用于从所述各个标签的预测分数值中抽取指定标签对应的预测分数值；梯度迭代模块，用于根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动；裁剪模块，用于利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动；生成模块，用于将所述第二攻击扰动叠加到所述原始图像样本上，生成与所述指定标签对应的对抗样本。在本申请的一些实施方式中，所述预设多标签分类网络包括：依次连接的特征提取骨干网络、全连接层和激活函数。在本申请的一些实施方式中，所述梯度迭代模块，具体用于：S1、设置MI-FGSM迭代参数，所述迭代参数包括动量momentum、扰动值范围epsilon、迭代步数iternum、迭代步长α；S2、计算出所述指定标签对应的预测分数值关于所述原始图像样本的偏导数grad，以初始化梯度；S3、根据公式攻击扰动noise＝momentum×noise+α×grad更新攻击扰动，并根据扰动值范围epsilon对更新后攻击扰动进行裁剪；S4、重复S3，直到迭代了iternum步为止，得到第一攻击扰动。在本申请的一些实施方式中，所述裁剪模块，具体用于：通过所述指定标签对应的损失函数对所述原始图像样本在所述预设多标签分类网络的各特征层的特征图像求导并加权求和，得到目标特征图像；通过双线性插值方法将所述目标特征图像还原到与所述原始图像样本相同的尺度，得到Grad-CAM；根据所述Grad-CAM对所述第一攻击扰动进行噪声裁剪，生成第二攻击扰动。本申请第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。本申请第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。相较于现有技术，本申请提供的指定标签的对抗样本生成方法、装置、电子设备及介质，可以有选择性地生成指定标签的对抗样本，该对抗样本在通过多标签分类网络后可以消除特定类别的标签，同时又能保持原有的标签并且不会在图像中产生新的标签。本方案还可以将攻击扰动限制在特定类别图像区域，缩小攻击扰动的范围，使攻击更难被人或机器察觉。此外，所生成的对抗样本可以用于多标签分类网络数据增广，弥补在多分类数据集中由于样本标签在整个样本空间分布不均衡对多标签分类模型分类精度带来的影响，从而提升多标签分类模型的分类能力。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本申请的一些实施方式所提供的一种指定标签的对抗样本生成本文档来自技高网...

【技术保护点】
1.一种指定标签的对抗样本生成方法，其特征在于，包括：/n将原始图像样本输入预设多标签分类网络，得到用于对所述原始图像样本进行多标签分类的各个标签的预测分数值；/n从所述各个标签的预测分数值中抽取指定标签对应的预测分数值；/n根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动；/n利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动；/n将所述第二攻击扰动叠加到所述原始图像样本上，生成与所述指定标签对应的对抗样本。/n

【技术特征摘要】
1.一种指定标签的对抗样本生成方法，其特征在于，包括：
将原始图像样本输入预设多标签分类网络，得到用于对所述原始图像样本进行多标签分类的各个标签的预测分数值；
从所述各个标签的预测分数值中抽取指定标签对应的预测分数值；
根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动；
利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动；
将所述第二攻击扰动叠加到所述原始图像样本上，生成与所述指定标签对应的对抗样本。


2.根据权利要求1所述的方法，其特征在于，所述预设多标签分类网络包括：依次连接的特征提取骨干网络、全连接层和激活函数。


3.根据权利要求1所述的方法，其特征在于，所述根据所述指定标签对应的预测分数值，采用动量快速梯度迭代MI-FGSM方法生成第一攻击扰动，包括：
步骤S1、设置MI-FGSM迭代参数，所述迭代参数包括动量momentum、扰动值范围epsilon、迭代步数iternum、迭代步长α；
步骤S2、计算出所述指定标签对应的预测分数值关于所述原始图像样本的偏导数grad，以初始化梯度；
步骤S3、根据公式攻击扰动noise＝momentum×noise+α×grad更新攻击扰动，并根据扰动值范围epsilon对更新后攻击扰动进行裁剪；
步骤S4、重复步骤S3，直到迭代了iternum步为止，得到第一攻击扰动。


4.根据权利要求1所述的方法，其特征在于，所述利用梯度权值类别响应图Grad-CAM方法对所述第一攻击扰动进行裁剪，得到第二攻击扰动，包括：
通过所述指定标签对应的损失函数对所述原始图像样本在所述预设多标签分类网络的各特征层的特征图像求导并加权求和，得到目标特征图像；
通过双线性插值方法将所述目标特征图像还原到与所述原始图像样本相同的尺度，得到Grad-CAM；
根据所述Grad-CAM对所述第一攻击扰动进行噪声裁剪，生成第二攻击扰动。


5.一种指定标签的对抗样本生成装置，其特征在于，包括：
预测模块，用于将原始图像样本输入预设多标签分类网络，得到用于对...

【专利技术属性】
技术研发人员：乔鹏，林扬飞，窦勇，姜晶菲，李荣春，牛新，苏华友，潘衡岳，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43