基于多目标优化的深度学习测试输入选择方法技术

本发明专利技术公开了一种基于多目标优化的深度学习测试输入选择方法，基于待测DNN模型的中间层输出，作为T中全体测试输入的特征表示，完成预处理；通过聚类对原始测试集的数据分布进行初步评估；而后以待测模型的预测标签作为区分原始测试集中数据类别的参考信息，对原始测试集与测试子集之间聚类形成的各个数据簇中不同类别测试输入占当前簇的比例差异之和进行计算，以此为优化目标进化更新种群总体；利用多目标优化算法，得到若干个Pareto最优解，用户根据实际测试需求从Pareto最优解中选择出一个解构建出期望的测试子集X。本发明专利技术通过筛选出一个能够保持原始测试集性质的小规模测试子集帮助开发人员有效降低标注成本，提升测试效率。测试效率。测试效率。

【技术实现步骤摘要】
基于多目标优化的深度学习测试输入选择方法


[0001]本专利技术涉及软件测试领域中的深度神经网络测试技术，特别是涉及深度学习测试输入选择方法。

技术介绍

[0002]一、深度神经网络及测试
[0003]在测试深度神经网络(Deep neural network，简称DNN)DNN模型时，通常是将测试输入的实际测试预言与DNN模型预测给出的输出值之间进行比较，进而判断DNN模型的预测性能，即判定对于给定的测试输入，DNN模型是否正确地完成了预测任务。
[0004]DNN模型由多层组成，每层包含多个神经元，研究人员通过分析DNN模型的结构提出了不同的覆盖标准。例如，1)用于测试真实世界DNN模型的白盒框架以及神经元覆盖标准；2)包括神经元级覆盖标准和层级覆盖标准在内的一系列更细粒度的充分性标准；3)DNN模型的惊喜值和惊喜覆盖率，惊喜值用于定量测量测试数据相对于待测模型的意外惊喜程度(即意外充足性)，惊喜覆盖率用于测量具有特定激活特征的神经元的覆盖率；4)对RNN模型进行定量分析的五个覆盖标准。研究人员还研究了测试生成技术。例如，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标优化的深度学习测试输入选择方法，其特征在于，该方法具体包括以下步骤：步骤1、数据加载及预处理操作，具体包括：将原始测试集T中的各类数据存储格式数字向量化处理后加载到程序中，抽取待测DNN模型对测试输入的中间层输出，根据数据的特征取值特点对测试输入的特征表示进行预处理操作；步骤2、对经过预处理操作的原始测试集T划分成m个数据簇，采用HDBSCAN聚类方法评估原始测试集的数据分布，获得各个聚类构成的簇中各类数据占比差异之和作为测试子集，具体包括：对经过预处理操作的原始测试集T执行软聚类算法，聚类原则是依据m个数据簇相应的各个类别测试输入占当前数据簇的比例情况；步骤3、利用多目标优化算法NSGA
‑
II对测试集T中的每个数据簇进行目标优化，具体包括：对多目标优化算法NSGA
‑
II的基本参数进行配置，即更新进化轮次Iters、种群总体个数NIND、优化目标数量M；然后，基于设置好的参数再初始化种群Population，获得种群Population中的个体和元素，其中任一个体代表针对原始测试集的一种具体选择方案，任一元素代表该位置的测试输入被选中的权重；确定最终选择方案时，将个体向量按照元素进行降序排序，取权重最大的前n个位置的测试输入构成新的测试子集；运行完成后，将得到的Pareto最优解存储到NDSet中，每个Pareto最优解代表一种具体的选择测试输入的方案；最终，用户根据测试需求从得到的Pareto最优解选择出一个解，构建出期望的测试子集X，确定最终的选择方案。2.如权利要求1所述的基于多目标优化的深度学习测试输入选择方法，其特征在于，多目标算法的适应度函数设计包括以下具体流程：以某轮次的种群总体Population、原始测试集T的数据分布情况集合totalLabelsProportions、预定义的测试子集规模n以及D预测的类别信息predictLabels当成输入；基于种群Population中每个个体Individual的向量元素的取值...

【专利技术属性】
技术研发人员：陈俊洁，沐燕舟，王赞，王建敏，贾娇，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：