一种基于类激活映射的对抗样本可视化解释方法技术

本发明专利技术公开一种基于类激活映射的对抗样本可视化解释方法，包括对抗样本生成阶段，通过对抗攻击算法为正常样本添加扰动生成相应的对抗样本；特征提取阶段，将对抗样本图片和正常样本图片输入到训练好的深度学习模型中进行特征提取得到对抗样本特征和正常样本特征，并对对抗样本和正常样本做样本分类；特征显著图生成阶段，计算对抗样本的分类结果对对抗样本特征的梯度和正常样本的分类结果对正常样本特征的梯度；将针对正常样本与对抗样本计算所得的梯度差异作为权重，与对抗样本特征进行线性加权融合得到最终的对抗样本特征显著图。著图。著图。

【技术实现步骤摘要】
一种基于类激活映射的对抗样本可视化解释方法


[0001]本专利技术主要涉及深度学习领域，尤其涉及一种基于类激活映射的对抗样本可视化解释方法。

技术介绍

[0002]近年来，深度学习在计算机视觉、自然语言处理、语音信号识别等领域取得了显著进展。然而，随着对深度学习算法研究的不断深入，深度神经网络表现出了较为普遍的脆弱性。2014年，Szegedy等人
[1]发现通过将一些人眼无法识别的扰动添加到正常样本中就能够有效欺骗深度学习模型。这类被添加扰动的样本被称为对抗样本，而生成对抗样本的过程被称为对抗攻击。
[0003]针对深度学习的对抗攻击算法已经有大量的相关工作，其中基于梯度的攻击方法是最流行的攻击方式。具体来说，该攻击方法主要是通过损失函数反向传播至输入图像，并根据对应梯度修改图像，使其成为对抗样本。最典型的方法是Goodfellow等人
[2]提出的FGSM(Fast Gradient Sign Method)算法，通过最大化分类器在图像上的损失来扰乱图像，FGSM算法的高效之处在于仅需一步计算即可生成对抗样本。Kurakin等人
[3]提出FGSM的扩展方法BIM(Basic Iterative Method)，不同于FGSM通过一大步运算增大分类器的损失函数，BIM迭代地通过多个小步骤对图像进行扰动，并在每个步骤之后调整方向计算，使扰动更为精确。在BIM算法之后，Madry等人
[4]引入了BIM的一种变体称为PGD(Projected Gradient Descent)攻击，PGD算法采用了随机启动的投影梯度下降法，以一定步长按照梯度的符号方向对输入图像进行多次扰动，来弥补单步梯度下降的不足。
[0004]这一系列对抗攻击算法的出现对深度学习模型的安全性产生了难以估量的威胁，使得其在髙安全性需求场景中的应用面临巨大挑战，因此有必要对针对深度神经网络的对抗攻击算法的可解释性开展深入的研究。通过解释分析对抗样本将模型错误分类的原因，可以发现深度学习模型的薄弱之处，促使构建更加稳固的深度学习模型来抵御对抗攻击。因此，研究分析对抗样本的可解释性就显得尤为重要。
[0005]研究对抗样本可解释性首先需要对深度神经网络的可解释性展开研究。近年来，针对深度神经网络的可解释性研究，科研人员也从多个角度进行了尝试，主要可以分为模型内部可视化解释方法和模型结果可视化解释方法。模型内部可视化解释方法主要在模型运作过程中实现内部信息的可视化。其代表方法为Liu等人
[5]提出的模型可视化分析方法，该方法将深度学习模型中的不同神经元间的关系以可视化的形式表征出来，并且还引入了两个算法来可视化网络模型中神经元的派生关系。模型结果可视化解释方法主要是对模型关注的区域进行定位。该方向的主流方法为基于类激活映射的可视化解释方法CAM
[6](Class Activation Mapping)，其核心思想是利用卷积层的输出，即特征图，作为获取解释结果的原始信息，通过某种方式计算出权重，对特征图进行加权求和获取最终的解释结果。但是该方法灵活性差，不能适用于所有的模型。根据CAM的思想，Selvaraju和Chattopadhay等人提出了Grad
‑
CAM
[7]和Grad
‑
CAM++
[8]，使用特定类别的预测分数关于特征层的梯度来计
算权重，比起CAM更具泛化性，并且可以用于不同的模型结构和任务。
[0006]而目前模型可视化解释方法主要是针对正常样本做解释性分析，而且这些解释方法由于对模型的鲁棒性较为敏感，不能够定位到人可解释的样本特征区域，无法发现深度学习模型的薄弱之处，构建的深度学习模型也不够稳固。
[0007]参考文献：
[0008][1]C.Szegedy,W.Zaremba,I.Sutskever,et al.Intriguing properties of neural networks[C].Proceedings of the 2nd International Conference on Learning Representations(ICLR),2014.
[0009][2]I.Goodfellow,J.Shlens,C.Szegedy.Explaining and harnessing adversarial examples[C].International Conference on Learning Representations(ICLR),2015.
[0010][3]A.Kurakin,I.Goodfellow,S.Bengio.Adversarial examples in the physical world[C].International Conference on Learning Representations(ICLR),2016.
[0011][4]A.Madry,A.Makelov,L.Schmidt,et al.Towards deep learning models resistant to adversarial attacks[C].International Conference on Learning Representations(ICLR),2018.
[0012][5]M.Liu,J.Shi,Z.Li,et al.Towards better analysis of deep convolutional neural networks[J].IEEE Transactions on Visualization&Computer Graphics,2016.
[0013][6]B.Zhou,A.Khosla,A.Lapedriza,et al.Learning deep features for discriminative localization[C].Proceedings of the IEEE conference on Computer Vision and Pattern Recognition(CVPR),2016.
[0014][7]R.Selvaraju,M.Cogswell,A.Das,et al.Grad
‑
cam:Visual explanations from deep networks via gradient
‑
based localization[C].Proceedings of the IEEE conference on Computer Vision and Pattern Recognition(CVPR),2017.
[0015][8]A.Chattopadhay,A.Sarkar,P.Howlader,et al.Grad
‑
cam++:Generalized gradient本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类激活映射的对抗样本可视化解释方法，其特征在于，包括对抗样本生成阶段、特征提取阶段和特征显著图生成阶段，具体如下：对抗样本生成阶段；通过对抗攻击算法为正常样本添加扰动生成相应的对抗样本；特征提取阶段；将对抗样本和正常样本输入到训练好的深度学习模型中进行特征提取得到对抗样本特征和正常样本特征；特征显著图生成阶段；对对抗样本特征和正常样本特征进行分类得到对抗样本的分类结果和正常样本的分类结果，计算对抗样本的分类结果对对抗样本特征的梯度和正常样本的分类结果对正常样本特征的梯度；将针对正常样本与对抗样本计算所得的梯度差异作为权重，与对抗样本特征进行线性加权融合得到最终的对抗样本特征显著图。2.根据权利要求1所述一种基于类激活映射的对抗样本可视化解释方法，其特征在于，在对抗样本生成阶段中采用基于优化的攻击方式生成对抗样本，在优化的过程中，对抗样本使用优化的参数表示，优化的目标是使得对抗样本和正常样本的距离越小，并且使得深度学习模型预测的错误类别置信度越高。3.根据权利要求1所述一种基于类激活映射的对抗样本可视化解释方法，其特征在于，在特征提取阶段中采用了特征提取网络，具体样本特征提取步骤如下：(1)对抗样本的维度为[1,3,224,224]，将对抗样本输入到特征提取网络；(2)对抗样本被输入到一个输出通道为64，卷积核为7
×
7，步长为2，填充为3的卷积层进行特征提取，得到的特征的维度为[1,64,112,112]；然后将维度为[1,64,112,112]的特征输入到一个卷积核为3
×
3，步长为2，填充为1的最大池化层进行进一步的特征提取，得到的特征的维度为[1,64,56,56]；(3)将步骤(2)最终得到的特征输入到特征提取网络的第一个残差卷积块；第一个残差卷积块包括四个输出通道为64，卷积核为3
×
3，步长为1，填充为1的卷积层；在经过第二个卷积层处理过的特征与输入到第一个残差卷积块的特征相加融合，然后输入到第三个卷积层；在经过最后一层卷积层处理过的特征与第二个卷积层输出的特征相加融合，第一个残差卷积块最后得到的特征的维度为[1,64,56,56]；(4)将步骤(3)最终得到的特征输入到特征提取网络的第二个残差卷积块；第二个残差卷积块包括四个输出通道为128，卷积核为3
×
3，填充为1的卷积层；其中第一个卷积层的步长为2，其余的卷积层的步长为1；输入到第二个残差卷积块的特征首先经过一个输出通道为128，卷积核为1
×
1，步长为2，填充为0的卷积层进行处理，然后与经过第二个卷积层处理过的特征相加融合，输入到下一个卷积层；在经过最后一层卷积层处理过的特征与第二个卷积层输出的特征相加融合，最后得到的特征的维度为[1,128,28,28]；(5)将步骤(4)最终得到的特征输入到特征提取网络的第三个残差卷积块；第三个残差卷积块包括四个输出通道为256，卷积核为3
×
3，填充为1的卷积层；其中第一个卷积层的步长为2，其余的卷积层的步长为1；输入到第三个残差卷积块的特征首先经...

【专利技术属性】
技术研发人员：苏苒，康琦滨，孙倩，
申请(专利权)人：天津大学，
类型：发明
国别省市：