【技术实现步骤摘要】
本专利技术属于神经网络测试，具体涉及一种面向神经网络的变异测试用例评估与优化方法。
技术介绍
1、随着大数据的爆发和计算能力的提升，人工智能技术，尤其是以神经网络(nn)为代表的技术，正在迅猛发展，并在图像处理、文本分析、语音识别、自动驾驶等领域取得显著的突破。
2、神经网络作为人工智能领域的核心研究方向，通过模仿动物神经网络的特征进行信息处理。这一算法数学模型主要由输入层、隐藏层和输出层构成，其中每层包含若干神经元，上一层的神经元通过权重与下一层相连。通过数据集的训练，不断更新权重等参数，神经网络最终在各种具体任务上取得了良好的表现。
3、近年来，为追求更卓越的性能，神经网络朝着深度神经网络(deep neuralnetworks，dnn)和深度学习(deep learning，dl)方向发展。然而，随着神经网络层数的增加，模型变得更为复杂，可解释性逐渐降低，使神经网络模型更接近于“黑盒”。这带来的潜在威胁和隐患变得更加难以发现，尤其是在神经网络技术应用于自动驾驶系统、疾病预防与检测系统、恶意软件检测系统等安全攸关领域。因此，保证神经网络领域测试用例的质量显得尤为重要，高质量的测试用例将为进一步深入理解和构建深度学习系统提供更全面的反馈和指导。
技术实现思路
1、专利技术目的：本专利技术提出了一种面向神经网络的变异测试用例评估与优化方法，为了评估与优化测试用例集的质量，提高神经网络的稳健性。
2、技术方案：一种面向神经网络的测试用例评估方法，包
3、步骤1：对原始测试用例进行变异操作，得到测试用例变异体；对原始训练模型进行变异操作，得到训练模型变异体；
4、步骤2：取原始测试用例对原始训练模型进行训练，根据公式(1)计算突变评分m1；取测试用例变异体对原始训练模型进行训练，根据公式(1)计算当前变异操作下的突变评分ma1；取原始测试用例对训练模型变异体进行训练，根据公式(1)计算当前变异操作下的突变评分ma2；
5、
6、其中，ac是原始测试用例中类别为c′的数据集合，a表示原始测试用例，killedclasses(ac,c′)表示原始测试用例a中类别为c′所有被测试数据杀死的集合，mutationscore(a,c′)为突变评分，表示每个类别杀死的变异体占总体的数据集合比率之和的均值，c为原始测试用例中所有类别；
7、公式(1)表示测试用例在训练模型上针对不同变异操作的突变评分定义；
8、步骤3：将突变评分m1分别与突变评分ma1和突变评分ma2进行对比，当突变评分ma1大于突变评分m1时，表明经过当前变异操作后的原始测试用例需改进或增强；当突变评分ma1不大于突变评分m1时，表明经过当前变异操作后的原始测试用例可用；当突变评分ma2大于突变评分m1时，表明经过当前变异操作后的训练模型需改进或增强；当突变评分ma2不大于突变评分m1时，表明经过当前变异操作后的训练模型可用；以此得到评估结果。
9、较低的突变分数表明测试用例对于模型或程序的变化影响不大，测试用例的质量比较高，较高的突变分数表明测试用例受模型或程序变化影响大，需要改进或增强。
10、进一步的，步骤1中，所述的对原始测试用例进行变异操作，得到测试用例变异体，具体操作包括：
11、按照突变比，采用变异算子，随机选择部分原始测试用例进行变异操作；所述变异算子包括数据复制、标签错误、数据丢失、数据打乱和噪声扰动中的任意一种；
12、将经过变异操作后的原始测试用例与未经过变异操作的原始测试用例进行混合，得到测试用例变异体；
13、其中，所述数据复制为重复特定类型的测试用例的操作，所述标签错误为更改测试用例的标签的操作；所述数据丢失为随机删除测试用例的操作；所述数据打乱为打乱测试用例的顺序的操作；所述噪声扰动为向测试用例中添加噪声的操作。
14、进一步的，步骤1中，所述的对原始训练模型进行变异操作，得到训练模型变异体，具体操作包括：
15、按照突变比，采用变异算子，随机选择部分原始训练模型进行变异操作；所述变异算子包括层移除、层添加和激活函数去除中的任意一种；
16、将经过变异操作后的原始训练模型与未经过变异操作的原始训练模型进行混合，得到训练模型变异体；
17、其中，所述层移除为随机删除一层的操作；所述层添加为随机添加一层的操作；所述激活函数去除为随机删除一个层的激活函数的操作。
18、本专利技术公开了一种面向神经网络的测试用例优化方法，包括以下步骤：
19、s00：采用测试用例评估方法对测试用例进行评估，得到评估结果，并根据评估结果分析测试用例中存在的缺陷以及需要优化的方向，得到变异测试报告；
20、s10：根据变异测试报告，优化测试用例，得到优化后的测试用例；
21、s20：对优化后的测试用例进行变异测试，得到突变评分mb；判断突变评分mb是否大于突变评分m1，若大于，则重新优化测试用例，再执行s20，若不大于，则结束此循环，最终优化后的测试用例；
22、其中，所述的测试用例评估方法为权利要求1至3任意一项所述的一种面向神经网络的测试用例评估方法。
23、进一步的，s10中，所述的根据变异测试报告，优化测试用例，得到优化后的测试用例，具体操作包括：
24、根据变异测试报告，采用数据增强方式，优化测试用例，得到优化后的测试用例；
25、所述数据增强方式为数据复制、数据删除、添加噪声、添加错误标签中的任意一种。
26、进一步的，所述添加噪声包括：翻转、旋转、比例缩放、裁剪、移位、高斯噪声中的任意一种。
27、本专利技术还公开了一种面向神经网络的训练模型优化方法，包括以下步骤：
28、s000：采用测试用例评估方法对训练模型进行评估，根据评估结果分析训练模型中存在的缺陷以及需要优化的方向，得到变异测试报告；
29、s100：根据变异测试报告，优化训练模型，得到优化后的训练模型；
30、s200：对优化后的训练模型进行变异测试，得到突变评分mb；判断突变评分mb是否大于突变评分m1，若大于，则重新优化训练模型，再执行s200，若不大于，则结束此循环，最终优化后的训练模型；
31、其中，所述的测试用例评估方法为权利要求1至3任意一项所述的一种面向神经网络的测试用例评估方法。
32、有益效果：本专利技术与现有技术相比，具有以下优点：
33、(1)本专利技术根据已有的测试用例在不同变异模型上的突变评分的定义进行改进，使其可以计算测试用例在同一模型上针对不同变异操作的突变评分，使其可以在单个模型上用于测试用例质量的评估；
34、(2)本专利技术根据变异测试报告可以对测试用例中存在的缺陷利用突变评分采取数据增强的方式来进行测试用例的优化，进一步更好地帮助测试神经网络；...
【技术保护点】
1.一种面向神经网络的测试用例评估方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向神经网络的测试用例评估方法，其特征在于：步骤1中，所述的对原始测试用例进行变异操作，得到测试用例变异体，具体操作包括：
3.根据权利要求1所述的一种面向神经网络的测试用例评估方法，其特征在于：步骤1中，所述的对原始训练模型进行变异操作，得到训练模型变异体，具体操作包括：
4.一种面向神经网络的测试用例优化方法，其特征在于：包括以下步骤：
5.根据权利要求4所述的一种面向神经网络的测试用例优化方法，其特征在于：S10中，所述的根据变异测试报告，优化测试用例，得到优化后的测试用例，具体操作包括：
6.根据权利要求5所述的一种面向神经网络的测试用例优化方法，其特征在于：所述添加噪声包括：翻转、旋转、比例缩放、裁剪、移位、高斯噪声中的任意一种。
7.一种面向神经网络的训练模型优化方法，其特征在于：包括以下步骤：
【技术特征摘要】
1.一种面向神经网络的测试用例评估方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向神经网络的测试用例评估方法，其特征在于：步骤1中，所述的对原始测试用例进行变异操作，得到测试用例变异体，具体操作包括：
3.根据权利要求1所述的一种面向神经网络的测试用例评估方法，其特征在于：步骤1中，所述的对原始训练模型进行变异操作，得到训练模型变异体，具体操作包括：
4.一种面向神经网络的测试用例优化...
【专利技术属性】
技术研发人员：杨志斌，杨珍，周勇，苏祥，张海，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。