基于神经元敏感性的白盒测试样本生成方法技术

本发明专利技术公开了基于神经元敏感性的白盒测试样本生成方法，属于人工智能安全领域。包括获得模型的最小失真扰动；选择覆盖率指标对测试样本集进行更新，生成初步的测试样本队列；将神经网络预测结果反向传播，逐层计算神经元的重要性；通过神经网络验证技术，选择模型中对扰动变化敏感的神经元，生成最终的模型的测试样本集。本发明专利技术利用神经元边界对扰动变化不同的特点，来提取模型中边界变化大的神经元，定义为具有敏感性的神经元，选择覆盖率指标进行指导的同时，对样本集中图片添加固定区域扰动，即保证了神经元覆盖率不跌落，又提高了样本对扰动的敏感程度，提高神经网络的覆盖率。提高神经网络的覆盖率。提高神经网络的覆盖率。

【技术实现步骤摘要】
基于神经元敏感性的白盒测试样本生成方法


[0001]本专利技术设计测试样本生成方法，特别是基于神经元敏感性的测试样本生成方法。

技术介绍

[0002]深度神经网络是基于数据驱动的，模型的决策行为结果很大程度上是由训练数据决定的，随着深度神经网络在图像分类、目标检测、图像分割、自然语言处理、推荐系统等任务上取得良好的成绩，深度神经网络被广泛使用。各种软件也以深度学习模型为框架，人们也更多的使用深度学习代替更多的传统机器学习的工作。
[0003]越来越多的研究证明深度学习模型是脆弱的，这种脆弱性使深度神经网络在很多时候都是不可靠的。例如无人驾驶系统中，模型无法准确识别行人或者信号灯，从而发生交通事故。由于缺乏深入分析神经网络模型中扰动信息的传导过程，尤其神经网络中间层中的非线性传递，因此导致一些微弱的定向扰动即可干扰神经网络模型的输出，从而实现逃避、误导等感知攻击效果。此外，由于神经网络中的神经元语义信息包含量少，可解释性弱，导致深度神经模型的泛化性弱，严重依赖于数据样本。近年来，国内外许多研究人员，以传统软件测试技术为启发，不断完善可靠性测试指标体系、方法流程，提出新的测试框架。这些研究，有的借鉴传统软件静态测试方法，通过分析模型内部结构、层次关系以揭示模型内部逻辑的正确性；有的致力于提出各种各样的测试样本生成技术，通过大量具有针对性的样本以探究模型的行为空间，从而有效评估模型的安全性、鲁棒性、可靠性等指标。
[0004]在传统的软件测试中，更注重生成能够覆盖代码的测试用例，并尽可能地使程序崩溃。但在深度神经网络测试中，给定一个测试用例，该模型总能得到预测结果。这使得很难知道生成的测试样本是否足够好以覆盖代码。根据传统软件测试中覆盖的思想，一些研究人员提出了神经元覆盖的标准，以使神经网络中的神经元尽可能地被激活。此外，一些研究人员还提出了其他覆盖标准，如KMNC和NBC。随后，研究人员根据这些标准开发了测试样本生成技术。然而，现有的方法忽略了输入扰动和输出结果之间的关系。因此，需要结合扰动和神经网络的关系，设计出基于敏感性的测试样本生成方法。

技术实现思路

[0005]本专利技术解决的技术问题：提供一种利用敏感性重要性神经元针对白盒模型的测试样本生成方法。
[0006]技术方案：为了解决上述技术问题，本专利技术采用的技术方案如下：
[0007]基于神经元敏感性的白盒测试样本生成方法，包括以下步骤：
[0008]步骤1：获得训练样本集的最小失真扰动；
[0009]步骤2：选择覆盖率指标对测试样本集进行更新，生成初步的测试样本队列；
[0010]步骤3：将神经网络预测结果反向传播，逐层计算神经元的重要性；
[0011]步骤4：通过神经网络验证技术，选择模型中对扰动变化敏感的神经元，生成最终的模型的测试样本集。
[0012]进一步地，在步骤1中，获得训练样本集的最小失真扰动，方法如下：
[0013]在寻找训练样本集最小失真扰动的过程中，在原始训练集中添加扰动并将原始样本输入攻击网络，利用神经网络的正向传播，将原始样本的上下界通过正向传播得到每一个神经元的上下界。
[0014]进一步地，原始样本的上下界分别表示为：
[0015][0016]其中，表示神经元的上界，表示神经元的下界，表示扰动，表示原始图片。
[0017]每一个神经元的上下界分别表示为：
[0018][0019]其中，是相应的神经网络隐藏层操作，表示神经网络的层，表示第个神经元，是标准的基向量，表示转置，表示神经元的输出，表示针对前一层模型输出，后一隐层的计算结果，使每个类的上下界无交叉即为最小失真扰动。
[0020]通过得到的最小失真扰动可以得到每一个神经元的上界和下界，将每个神经元上界组成神经元边界集，将每个神经元下界组成神经元边界集,是第层，表示第个神经元。
[0021]进一步地，在步骤2中，选择覆盖率指标对测试样本集进行更新，生成初步的测试样本队列，方法如下：
[0022]步骤2.1：选择一个覆盖率准则作为生成新队列的判定依据；
[0023]步骤2.2：选择一个种子选择策略，用于种子的排序；
[0024]步骤2.3：对覆盖率指标进行判断，大于原始指标则放入队列中，循环迭代，生成初步的测试样本队列。
[0025]进一步地，在步骤3中，将神经网络预测结果反向传播，逐层计算神经元的重要性，神经网络中每一个神经元的重要性计算方法都可通过相关性分数计算：
[0026][0027]其中， f (x)表示模型的输出，第层的第个神经元，该神经元的相关性由表示；等于与第层的神经元相关的所有神经元的相关性之和，使得，第n层的相关性是从神经网络的最后一层的预测神经元反向传播到第一层中的所有神经元，包括输入图像，确定重要性神经元。
[0028]进一步地，在步骤4中，通过神经网络验证技术，选择模型中对扰动变化敏感的神
经元，生成最终的模型的测试样本集，方法如下：
[0029]步骤4.1：首先根据步骤3确定的重要性是由相关性表示，相关性的数值不为0时，说明该神经元对模型的预测结果有贡献，由此定义重要性神经元集合IN：
[0030]；
[0031]步骤4.2：通过调整最小失真扰动，根据转换因子，得到新添加的失真扰动，在得到新添加的失真扰动后得到新的神经元上下界合、，随着边界变化获得边界变化比率，随着的变化每个神经元的边界变化是不同的，判定当边界变化比率大于时，说明该神经元对于该扰动弄敏感，即得到敏感性神经元集合SN：
[0032][0033]其中，是第层，是第个神经元；和分别是第层第个神经元的原始上界和原始下界；，分别是通过调整的第层第个神经元的新上界和新下界。
[0034]步骤4.3：根据步骤4.1、步骤4.2中的获得重要性神经元集合IN和敏感性神经元集合，选择每一层中的敏感性神经元和重要性神经元，将每一个所选择的神经元映射到测试用例上，循环迭代，当覆盖率提升时，终止，最后生成最终的测试样本集。
[0035]有益效果：与现有技术相比，本专利技术具有以下有点：
[0036]（1）本专利技术提出了基于神经元敏感性的白盒测试样本生成方法。在生成测试样本时，本专利技术融合了相关性逐层传播技术和神经网络验证技术，来平衡敏感性和重要性神经元的选取程度。相关性逐层传播技术可以通过模型的预测结果计算神经网络中每一个神经元对模型预测结果的影响，定量计算每一个神经元的相关性数值，得到每一个神经元的重要性。神经网络验证技术是通过添加失真扰动计算神经网络的预测边界，通过调整失真扰动的大小使预测结果中的每个类分离，得到神经网络的最小失真扰动。
[0037]（2）本专利技术提出了一个新的覆盖率准则——敏感性重要性神经元覆盖率准则。定义一种新的覆盖率准则，扩展神经网络的覆盖率准则，应用新覆盖率指导测试样本生成。
[0038]（3）本专利技术相比于其他可迁移性测试样本生成方法，利用神经元边界对扰动变化不同的的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于神经元敏感性的白盒测试样本生成方法，其特征在于，包括以下步骤：步骤1：获得训练样本集的最小失真扰动；步骤2：选择覆盖率指标对测试样本集进行更新，生成初步的测试样本队列；步骤3：将神经网络预测结果反向传播，逐层计算神经元的重要性；步骤4：通过神经网络验证技术，选择模型中对扰动变化敏感的神经元，生成最终的模型的测试样本集。2.根据权利要求1所述的基于神经元敏感性的白盒测试样本生成方法，其特征在于，在步骤1中，获得训练样本集的最小失真扰动，方法如下：在寻找训练样本集最小失真扰动的过程中，在原始训练集中添加扰动并将原始样本输入攻击网络，利用神经网络的正向传播，将原始样本的上下界通过正向传播得到每一个神经元的上下界。3.根据权利要求2所述的基于神经元敏感性的白盒测试样本生成方法，其特征在于，原始样本的上下界分别表示为：其中，表示神经元的上界，表示神经元的下界，表示扰动，表示原始图片；每一个神经元的上下界分别表示为：其中，是相应的神经网络隐层操作，表示神经网络的层，表示第个神经元，是标准的基向量，表示转置，表示神经元的输出，表示针对前一层模型输出，后一隐层的计算结果，使每个类 的上下界无交叉即为最小失真扰动；通过得到的最小失真扰动可以得到每一个神经元的上界和下界，将每个神经元上界组成神经元边界集，将每个神经元下界组成新的神经元边界集,是第层，表示第个神经元。4.根据权利要求1所述的基于神经元敏感性的白盒测试样本生成方法，其特征在于，在步骤2中，选择覆盖率指标对测试样本集进行更新，生成初步的测试样本队列，方法如下：步骤2.1：选择一个覆盖率准则作为生成新队列的判定依据；步骤2.2：选择一个种子选择策略，用于种子的排序；步骤2.3：对覆盖率指标进行判断，大于原始指标则放入队列中，循环迭代，生成初步的测试样本队列。5.根据权利要求1所述的基于神经元敏感性的白盒测试样本生成方法，其特征在于，在步骤3中，将神经网络预测结果反向传播，逐层计算神经元的重要性，神经网络中每...

【专利技术属性】
技术研发人员：练智超，田凤君，毛锐，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：