基于神经元影响程度的产品分类模型的测试方法技术

本发明专利技术公开了一种基于神经元影响程度的产品分类模型的测试方法，通过计算神经元重要性，增强后段神经元，削弱前段神经元，以生成更多使产品分类模型错误分类的多样化与产品相关的测试样本图像，提前发现产品分类模型中运行过程中可能存在的异常情况。此外，利用生成的测试样本图像对产品分类模型进行重新训练，可以修复其中的漏洞，使对产品分类模型在在残次品检验判定的过程中更加安全可靠。次品检验判定的过程中更加安全可靠。

【技术实现步骤摘要】
基于神经元影响程度的产品分类模型的测试方法


[0001]本专利技术属于智能车间的产品分类领域，具体涉及一种基于神经元影响程度的产品分类模型的测试方法。

技术介绍

[0002]近年来，数据量爆发式增长、计算能力显著性提升、深度学习算法突破性应用，极大地推动了人工智能发展。然而，深度神经网络(Deep Neural Networks，DNNs)潜在的安全问题也给智能驱动的数字世界带来了极大的安全隐患。DNNs在面对不确定输入时，往往会出现意料之外的错误行为，在诸如自动驾驶系统、机器翻译和医疗等安全关键应用，可能会造成灾难性的后果，阻碍深度模型的实际部署。因此，深度神经网络的可靠性问题引起了学术界和工业界的广泛关注。
[0003]在工业场景的智能车间中，深度神经网络被构建成产品分类模型，用于对智能车间的生产产品进行残次品的识别和判定。为了避免在分类过程中出现异常判断，需要在对产品分类模型部署之前，对其进行安全性评估和测试。如何全面且高效地对深度产品分类模型进行测试，实现极端情况的评估和监督，进一步提高产品分类模型应用的可靠性，成为安全可靠人工智能研究中的一个关键问题。
[0004]目前面向深度学习模型的测试方法可以分为白盒测试与黑盒测试。白盒测试从模型内部结构出发，使得模型展现出更活跃的多样性；黑盒测试不考虑模型内部结构，通过有限次尝试实现模型的全覆盖。白盒反馈指导测试方法DeepHunter利用传统软件测试中模糊测试的方法，利用突变生成测试样本，并以多种覆盖率反馈为指导生成变异样本。Pei等人提出了DeepXplore用于系统地查找可以触发多个模型之间不一致的输入，加快了测试。DeepRoad使用输入图像进行场景变换，并在两个自动驾驶场景(即下雪和下雨)中显示其测试的高效性。模型的黑盒测试同样重要，Wicker等人提出一种尺度不变的特征变换特征引导黑盒测试方法，使用蒙特卡洛树搜索的方式来获取测试样本。DeepMutation是一种不观察模型的运行时内部行为的突变黑盒测试，通过定义一组源级或模型级变异算子，从源级(训练数据和训练程序)或模型级(无需训练直接注入)注入故障用来以评估测试数据质量。
[0005]尽管现有测试方法能达到较好的效果，但它们仍面临以下挑战：测试样本无法涵盖多种不同类别的极端案例。因此亟需一种面向产品分类模型的测试方法，能够在早期阶段对模型进行可靠性且全面评估和潜在缺陷的检测，降低模型在运行过程中发生错误的概率，以提高产品分类模型的可靠性。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于神经元影响程度的产品分类模型的测试方法，能发现更多产品分类模型中的潜在缺陷，实现对产品分类模型的安全测试评估。
[0007]为实现上述专利技术目的，实施例提供以下技术方案：
[0008]一种基于神经元影响程度的产品分类模型的测试方法，包括以下步骤：
[0009]步骤1，获取待测试的产品分类模型和正常产品图像；
[0010]步骤2，将正常产品图像输入至产品分类模型，以计算关注网络层的所有神经元的影响程度；
[0011]步骤3，依据影响程度将关注网络层的所有神经元划分为前段神经元、中段神经元、以及后端神经元；
[0012]步骤4，根据选定的前段神经元和后段神经元构建适应度函数，并依据适应度函数生成扰动，依据扰动生成中间样本图像；
[0013]步骤5，将中间样本图像作为正常产品图像后，迭代循环步骤2
‑
步骤4，直到达到迭代终止条件为止，将迭代终止时得到的中间样本图像作为测试样本图像；
[0014]步骤6，利用测试样本图像对产品分类模型进行测试，根据产品分类模型的输出结果判断产品分类模型的缺陷情况。
[0015]一个实施例中，产品分类模型包括卷积层、Flatten层、池化层、全连接层以及激活层，选择处于卷积层和全连接层中间的Flatten层或池化层作为关注网络层。
[0016]一个实施例的步骤2中，采用以下公式计算关注网络层的所有神经元的影响程度σ
n
：
[0017][0018]其中，n为神经元的索引，表示第n个神经元对输入图像x的计算输出，y
c
表示产品分类模型对于输入图像x关于预测类标c的置信度，表示求偏导，影响程度σ
n
越大，表示神经元对分类标签的贡献越大。
[0019]一个实施例的步骤3中，将关注网络层的所有神经元的影响程度降序排列后，选择前a％的神经元为前段神经元，中间b％的神经元为中段神经元，后c％的神经元为后段神经元，其中，a+b+c＝100，且a＜b＜c。
[0020]一个实施例的步骤4中，根据选定的前段神经元和后段神经元构建适应度函数loss
x
为：
[0021][0022]其中，i为前段神经元的索引，j为后段神经元的索引，k1和k2分别为选定的参与计算适应度函数的前段神经元个数和后段神经元个数，φ
i
(x)和φ
j
(x)分别表示第i个前段神经元和第j个后段神经元对输入图像x的计算输出。
[0023]一个实施例的步骤4中，将对适应度函数的求导作为扰动，并将扰动添加到输入的正常产品图像以生成中间样本图像。
[0024]一个实施例的步骤5中，迭代终止条件为达到预设最大迭代次数或扰动大于预设阈值。
[0025]一个实施例中，利用测试样本图像对产品分类模型进行测试时，根据产品分类模型的输出结果进行如下判断：当产品分类模型的错误分类占比小于设定阈值时，则改变迭代终止条件、增大选定的前段神经元和后段神经元的个数，重新执行步骤2
‑
步骤4，生成更
多的测试样本图像，利用新生成的测试样本图像再进行产品分类模型的测试。
[0026]一个实施例中，所述方法还包括：步骤7，将测试样本图像和原正常产品图像对产品分类模型进行重新训练，以对产品分类模型进行修复，得到修复后的产品分类模型。
[0027]与现有技术相比，本专利技术具有的有益效果至少包括：
[0028]通过计算神经元重要性，增强后段神经元，削弱前段神经元，以生成更多使产品分类模型错误分类的多样化与产品相关的测试样本图像，提前发现产品分类模型中运行过程中可能存在的异常情况。此外，利用生成的测试样本图像对产品分类模型进行重新训练，可以修复其中的漏洞，使对产品分类模型在在残次品检验判定的过程中更加安全可靠。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0030]图1是实施例提供的基于神经元影响程度的产品分类模型的测试方法的流程图；
[0031]图2实施例提供的基于神经元影响程度的产品分类模型的测试方法的框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经元影响程度的产品分类模型的测试方法，其特征在于，包括以下步骤：步骤1，获取待测试的产品分类模型和正常产品图像；步骤2，将正常产品图像输入至产品分类模型，以计算关注网络层的所有神经元的影响程度；步骤3，依据影响程度将关注网络层的所有神经元划分为前段神经元、中段神经元、以及后端神经元；步骤4，根据选定的前段神经元和后段神经元构建适应度函数，并依据适应度函数生成扰动，依据扰动生成中间样本图像；步骤5，将中间样本图像作为正常产品图像后，迭代循环步骤2
‑
步骤4，直到达到迭代终止条件为止，将迭代终止时得到的中间样本图像作为测试样本图像；步骤6，利用测试样本图像对产品分类模型进行测试，根据产品分类模型的输出结果判断产品分类模型的缺陷情况。2.根据权利要求1所述的基于神经元影响程度的产品分类模型的测试方法，其特征在于，产品分类模型包括卷积层、Flatten层、池化层、全连接层以及激活层，选择处于卷积层和全连接层中间的Flatten层或池化层作为关注网络层。3.根据权利要求1或2所述的基于神经元影响程度的产品分类模型的测试方法，其特征在于，步骤2中，采用以下公式计算关注网络层的所有神经元的影响程度σ
n
：其中，n为神经元的索引，表示第n个神经元对输入图像x的计算输出，y
c
表示产品分类模型对于输入图像x关于预测类标c的置信度，表示求偏导，影响程度σ
n
越大，表示神经元对分类标签的贡献越大。4.根据权利要求1所述的基于神经元影响程度的产品分类模型的测试方法，其特征在于，步骤3中，将关注网络层的所有神经元的影响程度降序排列后，选择前a％的神经元为前段神经元，中间b％...

【专利技术属性】
技术研发人员：刘祥，张英，
申请(专利权)人：余姚市亿盛金属制品有限公司，
类型：发明
国别省市：