评估神经网络图像分类模型鲁棒性的方法及装置制造方法及图纸

本发明专利技术公开了评估神经网络图像分类模型鲁棒性的方法及装置，该方法包括：S1：获取样本集，样本集内包括图像样本；S2：将样本集中任意的第一图像样本输入神经网络图像分类模型中，获取第一图像样本的特征图；S3：输入第一图像样本，通过热力图生成算法，基于神经网络图像分类模型和特征图，获取第一图像样本的热力图；S4：基于热力图，计算第一图像样本的敏感区域，并突出第一图像样本的敏感区域；S5：采用扰动算法对敏感区域进行扰动，得到第一对抗样本；S6：将第一对抗样本作为新的第一图像样本重复S3至S5得到最终第一对抗样本；S7：将最终第一对抗样本和初始第一图像样本组成样本对，用于评估神经网络图像分类模型的鲁棒性。用于评估神经网络图像分类模型的鲁棒性。用于评估神经网络图像分类模型的鲁棒性。

【技术实现步骤摘要】
评估神经网络图像分类模型鲁棒性的方法及装置


[0001]本专利技术实施例涉及神经网络领域，具体涉及一种评估神经网络图像分类模型鲁棒性的方法及装置。

技术介绍

[0002]随着深层神经网络(DNNs)模型的大规模应用，其安全性与稳定性也受到了广泛的关注。2013年，Szegedy等人研究发现深层神经网络模型容易受到对抗样本的攻击，这种攻击是基于在原始图像上添加微小的扰动，而这种扰动在人眼范围内不会产生较大影响，却可以干扰深层神经网络模型做出误判。于是，针对神经网络模型的安全性、鲁棒性评估也变得至关重要。

技术实现思路

[0003]为此，本专利技术实施例提供一种评估神经网络图像分类模型鲁棒性的方法及装置，以解决现有技术中用于检测鲁棒性的对抗样本针对性差、扰动较大且通用性差的问题。
[0004]为了实现上述目的，本专利技术的实施方式提供如下技术方案：
[0005]在本专利技术的实施方式的一个方面中，提供了一种评估神经网络图像分类模型鲁棒性的方法，所述方法包括：
[0006]步骤1：获取样本集，所述样本集内包括图像样本；
[0007]步骤2：将所述样本集中任意的第一图像样本输入所述神经网络图像分类模型中，获取所述第一图像样本的特征图；
[0008]步骤3：输入所述第一图像样本，通过热力图生成算法，基于所述神经网络图像分类模型和所述特征图，获取所述第一图像样本的热力图；
[0009]步骤4：基于所述热力图，计算所述第一图像样本的敏感区域，并突出所述第一图像样本的敏感区域；
[0010]步骤5：采用扰动算法对所述敏感区域进行扰动，得到第一对抗样本；
[0011]步骤6：将所述第一对抗样本作为新的第一图像样本重复步骤3至步骤5得到最终第一对抗样本；
[0012]步骤7：将所述最终第一对抗样本和初始所述第一图像样本组成样本对，用于评估神经网络图像分类模型的鲁棒性。
[0013]进一步地，将所述样本集中任意的第一图像样本输入所述神经网络图像分类模型中，获得softmax层之前最后一个连接层输出的特征图。
[0014]进一步地，所述热力图算法为LRP热力图生成算法，将所述第一图像样本与所述第一图像样本的原始分类标签作为LRP解释器的输入，以所述特征图为起点，利用所述神经网络图像分类模型的结构，反向传播其相关性R，生成预测类别的所述热力图。
[0015]进一步地，步骤4中计算所述第一图像样本的敏感区域具体为：
[0016]将生成的所述热力图的所有像素点求均值μ，将所述热力图中像素点的值大于所
述均值μ的位置认为是所述第一图像样本的敏感区域z，其余位置认为是非敏感区域。
[0017]进一步地，步骤4中突出所述第一图像样本的敏感区域具体为：
[0018]设定二值化掩码m，将所述热力图中的敏感区域z的掩码值设置为1，其余区域的掩码值设置为0。
[0019]进一步地，步骤5具体为：
[0020]采用扰动算法，根据公式更新所述第一图像样本中敏感区域z的像素值；
[0021]根据公式x
′
＝x
⊙
(1
‑
m)+z
⊙
m得到对抗样本图像x
′
；
[0022]其中，z表示敏感区域，x
′
表示第一对抗样本，x表示第一图像样本，y表示第一图像样本的原始分类标签，m表示二值化掩码，
⊙
表示哈达玛积，∈表示更新时的学习率，sign表示符号函数，值域为{+1，
‑
1}，J(x,y)表示神经网络模型的损失函数，表示梯度算子。
[0023]进一步地，步骤6具体为：
[0024]重复步骤3至步骤5，直到达到迭代次数n，将此时的第一对抗样本作为最终的第一对抗样本；其中，n为正整数。
[0025]在本专利技术的实施方式的另一个方面中，提供了一种评估神经网络图像分类模型鲁棒性的装置，所述装置包括：
[0026]获取单元，用于获取样本集，所述样本集内包括图像样本；
[0027]第一生成单元，用于将所述样本集中任意的第一图像样本输入所述神经网络图像分类模型中，获取所述第一图像样本的特征图；
[0028]第二生成单元，用于输入所述第一图像样本，通过热力图生成算法，基于所述神经网络图像分类模型和所述特征图，获取所述第一图像样本的热力图；
[0029]计算单元，用于基于所述热力图，计算所述第一图像样本的敏感区域，并突出所述第一图像样本的敏感区域；
[0030]扰动单元，用于采用扰动算法对所述敏感区域进行扰动，得到第一对抗样本；
[0031]评估单元，用于将所述第一对抗样本作为新的第一图像样本依次重复所述第二生成单元、所述计算单元、所述扰动单元的操作得到最终第一对抗样本，将所述最终第一对抗样本和初始所述第一图像样本组成样本对，用于评估神经网络图像分类模型的鲁棒性。
[0032]在本专利技术的实施方式的另一个方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述方法。
[0033]在本专利技术的实施方式的另一个方面中，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述方法。
[0034]本专利技术的实施方式具有如下优点：
[0035]本专利技术实施例公开了一种评估神经网络图像分类模型鲁棒性的方法及装置，该方法采用LRP(Layer
‑
wise Relevance Propagation)算法生成可显示出模型输入与预测类别的相关性的热力图，通过相关性热力图可确定图片的敏感区域，进而直接针对图像的敏感区域添加扰动。与传统对抗样本生成方法相比，本方案生成方式针对性更强，可减小扰动空间的范围，降低对人类视觉范围内的干扰。并且该方法生成的对抗样本具有一定的可迁移性，可评估实验中的神经网络图像分类模型鲁棒性的同时，也可迁移性的评估其他神经网络图像分类模型的鲁棒性。
附图说明
[0036]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
[0037]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。
[0038]图1为本专利技术的实施例提供的一种评估神经网络图像分类模型鲁棒性的方法的流程示意图；
[0039]图2为本专利技术的实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评估神经网络图像分类模型鲁棒性的方法，其特征在于，所述方法包括：步骤1：获取样本集，所述样本集内包括图像样本；步骤2：将所述样本集中任意的第一图像样本输入所述神经网络图像分类模型中，获取所述第一图像样本的特征图；步骤3：输入所述第一图像样本，通过热力图生成算法，基于所述神经网络图像分类模型和所述特征图，获取所述第一图像样本的热力图；步骤4：基于所述热力图，计算所述第一图像样本的敏感区域，并突出所述第一图像样本的敏感区域；步骤5：采用扰动算法对所述敏感区域进行扰动，得到第一对抗样本；步骤6：将所述第一对抗样本作为新的第一图像样本重复步骤3至步骤5得到最终第一对抗样本；步骤7：将所述最终第一对抗样本和初始所述第一图像样本组成样本对，用于评估神经网络图像分类模型的鲁棒性。2.根据权利要求1所述的方法，将所述样本集中任意的第一图像样本输入所述神经网络图像分类模型中，其特征在于，获得softmax层之前最后一个连接层输出的特征图。3.根据权利要求1所述的方法，其特征在于，所述热力图算法为LRP热力图生成算法，将所述第一图像样本与所述第一图像样本的原始分类标签作为LRP解释器的输入，以所述特征图为起点，利用所述神经网络图像分类模型的结构，反向传播其相关性R，生成预测类别的所述热力图。4.根据权利要求1所述的方法，其特征在于，步骤4中计算所述第一图像样本的敏感区域具体为：将生成的所述热力图的所有像素点求均值μ，将所述热力图中像素点的值大于所述均值μ的位置认为是所述第一图像样本的敏感区域z，其余位置认为是非敏感区域。5.根据权利要求4所述的方法，其特征在于，步骤4中突出所述第一图像样本的敏感区域具体为：设定二值化掩码m，将所述热力图中的敏感区域z的掩码值设置为1，其余区域的掩码值设置为0。6.根据权利要求5所述的方法，其特征在于，步骤5具体为：采用扰动算法，根据公式更新所述第一图像样本中敏感区域z的像素值；根据公式x
′
＝x
⊙
(1
‑
m)+z
⊙
...

【专利技术属性】
技术研发人员：何召阳，靳宇馨，刘乃海，李乾坤，刘兵，
申请(专利权)人：北京墨云科技有限公司，
类型：发明
国别省市：