一种基于复合蜕变关系的分类器测试方法及系统技术方案

本发明专利技术实施例提供一种基于复合蜕变关系的分类器测试方法及系统。其中，方法包括：将分类器的多个一元蜕变关系复合为复合蜕变关系；基于所述复合蜕变关系，生成测试用例；基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。本发明专利技术实施例提供的方法及系统，通过将分类器的多个一元蜕变关系复合为复合蜕变关系，然后基于复合蜕变关系对分类器进行测试，并获取测试结果。可降低测试成本、提高测试效率。既能有效利用分类器本身所具有的元方法不确定性和计算目的不确定性等特征，还能明显提升分类器的测试效果。有效利用分类器本身所具有的特征、显著提高分类器的测试效率、提高蜕变关系的检错能力、降低测试成本。

A Classifier Testing Method and System Based on Compound Degradation Relation

【技术实现步骤摘要】
一种基于复合蜕变关系的分类器测试方法及系统
本专利技术实施例涉及智能化软件新
，尤其涉及一种基于复合蜕变关系的分类器测试方法及系统。
技术介绍
机器学习是人工智能技术的重要研究领域，通过机器学习算法构建准确度高的分类、预测或聚类机器学习模型是机器学习的核心目标之一，随着机器学习模型在金融、自动驾驶和工业控制等领域越来越普遍的应用，对机器学习模型的安全性和可靠性提出了更高的要求，因此，必须测试和验证机器学习模型，以保证安全性和可靠性。机器学习模型的关键功能就是从大量数据中识别有价值的信息，数据敏感性是机器学习的主要特征，给定数据集的细微差别对机器学习模型的计算结果具有很大且不可预测的影响，因此，对机器学习模型的测试方法提出了新的挑战。针对新的挑战，需要从机器学习模型的机器学习算法本身的特点出发来寻求高效的测试方法。以分类机器学习模型即分类器为例，分类器的分类算法具有元方法不确定性和计算目的不确定性。其中，元方法不确定性指所选取的机器学习算法不确定，例如，分类算法有k-近邻分类算法、决策树、朴素贝叶斯和Logistic回归等；计算目的不确定性指所选取的数据集、分类标准和测试用例的结果等不确定。基于此，对分类器不能以准确度高低作为其安全性和可靠性的评价标准，准确度高并不能确保分类器不存在Bug。因此，采用何种方法对分类器进行测试，便是目前急需解决的问题。传统的软件测试技术应用于分类器存在缺少测试规约和测试准确度不够高的问题。蜕变测试技术是解决缺少测试规约问题的有效手段。蜕变测试技术是通过验证多个测试用例执行输出之间是否满足程序必须满足的蜕变关系，从而判断程序运行是否正确。若直接将一元蜕变关系测试技术用于分类器缺陷检测，其中只有个别一元蜕变关系的检错能力可以达到70％以上，绝大多数一元蜕变关系的检错能力极低。因此，简单一元蜕变关系度分类器的缺陷检测能力有限，需要更加高效的测试方法。
技术实现思路
针对现有技术中存在的技术问题，本专利技术实施例提供一种基于复合蜕变关系的分类器测试方法及系统。第一方面，本专利技术实施例提供一种基于复合蜕变关系的分类器测试方法，包括：将分类器的多个一元蜕变关系复合为复合蜕变关系；基于所述复合蜕变关系，生成测试用例；基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。第二方面，本专利技术实施例提供一种基于复合蜕变关系的分类器测试系统，包括：蜕变关系复合模块，用于将分类器的多个一元蜕变关系复合为复合蜕变关系；测试用例生成模块，用于基于所述复合蜕变关系，生成测试用例；测试结果获取模块，用于基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的一种基于复合蜕变关系的分类器测试方法及系统，通过将分类器的多个一元蜕变关系复合为复合蜕变关系，然后基于复合蜕变关系对分类器进行测试，并获取测试结果。可降低测试成本、提高测试效率。既能有效利用分类器本身所具有的元方法不确定性和计算目的不确定性的特征，还能明显提升分类器的测试效果。有效利用分类器本身所具有的特征、显著提高分类器的测试效率、提高蜕变关系的检错能力、降低测试成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种基于复合蜕变关系的分类器测试方法流程图；图2为本专利技术实施例提供的一种分类器的训练及应用示意图；图3为本专利技术实施例提供的一种基于复合蜕变的测试用例生成流程图；图4为本专利技术实施例提供的一种复合蜕变流程图；图5为本专利技术实施例提供的一种基于复合蜕变的测试用例生成流程图；图6为本专利技术实施例提供的一种蜕变关系检测流程示意图；图7为本专利技术实施例提供的一种基于复合蜕变关系的分类器测试系统的结构示意图；图8为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种基于复合蜕变关系的分类器测试方法流程图，如图1所示，该方法包括：步骤101，将分类器的多个一元蜕变关系复合为复合蜕变关系。首先，对蜕变关系进行说明：假设程序P用来计算函数f，x1,x2,...,xn(n＞1)是f的n组变元，且f(x1),f(x2),...,f(xn)是其对应的函数结果。若x1,x2,...,xn间满足关系r时，f(x1),f(x2),...,f(xn)满足关系rf，即则称(r,rf)是P的蜕变关系。其中，若n＝1，则称(r,rf)是P的一元蜕变关系；若n＝2，则称(r,rf)是P的二元蜕变关系，以此类推。并且，对于n≥2的情况，还可则称(r,rf)是P的复合蜕变关系。图2为本专利技术实施例提供的一种分类器的训练及应用示意图，如图2所示，通过训练数据Dtran和训练算法对分类器进行训练，训练完成后，将测试数据Dtest输入至分类器中，获取分类器的输出，作为预测结果Dresult。对于分类器来说，其一元蜕变关系包括“置换类标签”、“置换属性值”、“增加训练样本”等。需要说明的是，分类器的一元蜕变关系可以有任意多个，本专利技术实施例对其不作具体限定。将分类器的多个一元蜕变关系进行复合，以生成复合蜕变关系。例如，这多个一元蜕变关系分别为：调整Dtran中第i行和第j行数据记录的顺序(简称关系1)和调整Dtest中第i行和第j行数据记录的顺序(简称关系2)。那么，将关系1和关系2复合成的复合蜕变关系可以为：先执行关系1，再执行关系2，或者，先执行关系2，再执行关系1。需要说明的是，若将关系1作为复合的第一条一元蜕变关系I，再将关系2与关系1进行复合，那么得到的复合蜕变关系为：先执行关系1，再执行关系2。若将关系2作为复合的第一条一元蜕变关系，再将关系1与关系2进行复合，那么得到的复合蜕变关系为：先执行关系2，再执行关系1。步骤102，基于所述复合蜕变关系，生成测试用例。具体地，首先获取原始数据；然后，将原始数据划分为原始用例训练集和原始用例验证集；随后，基于复合蜕变关系，分别将原始用例训练集和原始用例验证集蜕变为衍生用例训练集和衍生用例验证集，此处，将衍生用例训练集和衍生用例验证集统称为测试用例。步骤103，基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。需要说明的是，采用何种方法对分类器进行测试是目前急需解决的问题。传统的软件测试技术应用于分类器本文档来自技高网...

【技术保护点】
1.一种基于复合蜕变关系的分类器测试方法，其特征在于，包括：将分类器的多个一元蜕变关系复合为复合蜕变关系；基于所述复合蜕变关系，生成测试用例；基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。

【技术特征摘要】
1.一种基于复合蜕变关系的分类器测试方法，其特征在于，包括：将分类器的多个一元蜕变关系复合为复合蜕变关系；基于所述复合蜕变关系，生成测试用例；基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果。2.根据权利要求1所述的方法，其特征在于，将分类器的多个一元蜕变关系复合为复合蜕变关系，包括：确定分类器的一元蜕变关系集合，并在所述一元蜕变关系集合中确定待进行复合的多个一元蜕变关系；将所述多个一元蜕变关系复合为复合蜕变关系。3.根据权利要求2所述的方法，其特征在于，在所述一元蜕变关系集合中确定待进行复合的多个一元蜕变关系，包括：根据时间成本和/或预测效果，在所述一元蜕变关系集合中确定待进行复合的一元蜕变关系的数量；从所述一元蜕变关系集合中确定所述数量个一元蜕变关系。4.根据权利要求1所述的方法，其特征在于，基于所述复合蜕变关系，生成测试用例；基于所述复合蜕变关系和所述测试用例，对所述分类器进行测试，并获取测试结果，包括：基于所述复合蜕变关系，分别将原始用例训练集和原始用例验证集蜕变为衍生用例训练集和衍生用例验证集；分别通过所述原始用例训练集和所述衍生用例训练集对所述分类器进行训练，以生成原始用例分类器和衍生用例分类器；将所述原始用例验证集输入至所述原始用例分类器，输出原始用例结果集，并将所述衍生用例验证集输入至所述衍生用例分类器，输出衍生用例结果集；基于所述复合蜕变关系，将所述原始用例结果集和所述衍生用例结果集进行一致...

【专利技术属性】
技术研发人员：贾明华，崔展齐，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11