提升大规模样本测试效率的自动化测试方法及系统技术方案

本发明专利技术特别涉及一种提升大规模样本测试效率的自动化测试方法及系统，其中该方法包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。通过样本标签，深入挖掘样本测试结果之间的关联，提出了标签依赖关系以及测试结果依赖关系，在样本测试之前予以判断，从而直接为有依赖关系的样本赋予测试结果，在实际执行时，可跳过一部分样本的测试，大幅节约测试时间，提高测试效率。提高测试效率。提高测试效率。

【技术实现步骤摘要】
提升大规模样本测试效率的自动化测试方法及系统


[0001]本专利技术涉及大规模样本测试
，特别涉及一种提升大规模样本测试效率的自动化测试方法及系统。

技术介绍

[0002]为了验证算法的效果，常需要准备大量样本，根据算法对样本的处理结果来评估算法的效果。比如我司屏幕拍摄泄密溯源取证系统，通过在屏幕上添加不可见的隐形水印，当屏幕被拍摄或截屏泄露后，可根据泄露的图片溯源出水印信息，从而确定泄露源。隐形水印提取成功与否，是衡量该系统的一个重要指标，该系统在不断的升级和迭代中，我们就需要对水印提取算法进行测试。
[0003]在当前的测试过程中，常规的做法如图1所示，首先通过人工对样本进行拆分，拆分后得到多个样本子集，其次，通过多个测试线程和样本提取服务终端来分别对拆分后的样本子集进行测试，最后统计多个样本提取服务终端的测试结果。这种测试方法存在诸多不足：其一，人工对样本进行拆分，拆分的不够均匀，很容易出现样本提取服务终端闲置的情况；其二，所有的样本都会被测试，对于某些测试耗时较多的算法来说，完成所有测试需要消耗大量的时间。因此急需一种可以提升大规模样本测试效率的测试方法来避免上述不足。

技术实现思路

[0004]本专利技术的首要目的在于提供一种提升大规模样本测试效率的自动化测试方法，能够高效快速的实现大规模样本的测试。
[0005]为实现以上目的，本专利技术采用的技术方案为：一种提升大规模样本测试效率的自动化测试方法，包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。
[0006]本专利技术的另一个目的在于提供一种提升大规模样本测试效率的自动化测试系统，能够高效快速的实现大规模样本的测试。
[0007]为实现以上目的，本专利技术采用的技术方案为：一种提升大规模样本测试效率的自动化测试系统，包括：标签配置模块，根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；标签添加模块，用于为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；样本测试模块，用于对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。
[0008]与现有技术相比，上述方法及系统存在以下技术效果：通过样本标签，深入挖掘样本测试结果之间的关联，提出了标签依赖关系以及测试结果依赖关系两种关系，并且可以
在样本测试之前予以判断，从而直接为有依赖关系的样本赋予测试结果，在实际执行时，可跳过一部分样本的测试，大幅节约测试时间，提高测试效率。
附图说明
[0009]图1是现有技术中常规的大规模样本测试流程图；图2是本专利技术总的流程图；图3是本专利技术中对样本进行测试的实施例一的步骤流程图；图4是本专利技术中对样本进行测试的实施例一的样本处理流程图；图5是本专利技术中对样本进行测试的实施例二的步骤流程图；图6是本专利技术中对样本进行测试的实施例二的样本处理流程图；图7是本专利技术的结构示意图。
具体实施方式
[0010]下面结合图2至图7，对本专利技术做进一步详细叙述。
[0011]参阅图2，本专利技术中公开了一种提升大规模样本测试效率的自动化测试方法，包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；具有依赖关系的标签，反应的是样本之间的关联性；同时为样本添加标签，需要注意的是，这两个步骤执行时没有先后顺序，可以按任意顺序执行，但这两个步骤执行完毕后才能对样本进行测试。标签是否具有依赖关系，主要取决于这些标签所涉及样本的测试结果之间是否有关联、或者标签本身的定义是否具有关联性。
[0012]我们结合实际的使用场景进行详细说明，所述的样本为嵌入了隐形水印的屏摄图或截屏图，具体以屏摄图为例。
[0013]测试的样本都是人工拍摄获得的，此时拍摄到的原图就构成一个样本，一般的泄密场景下，泄密者常通过通讯工具将屏摄原图发送出去，经过通讯工具传输后的屏摄图一般都会被压缩，因此我们常需要评估算法提取压缩后屏摄图的能力。当屏摄原图经过不同的通讯工具传输时，会得到不同的压缩样本，假设屏摄原图我们打的标签是original，那么经过钉钉、微信、飞书等常用通讯软件传输后的图片我们分别添dingding、weixin、feishu作为其标签。那么这四个标签就构成一组标签，且dingding、weixin、feishu这三个标签依赖于original这个标签，用公式表示如下：并且在测试结果上，如果具有original标签的屏摄原图水印提取失败，那么经过压缩后的图片水印提取大概率也会失败。
[0014]同时，我们有时候还会测试屏摄原图经过剪裁导致屏幕区域不完整的情况下，算法提取水印的能力，因此还会为包括完整屏幕区域的屏摄原图打上full的标签，对此图按一定要求进行剪裁后，得到部分屏图片，此时为其打上cut的标签，这两个标签的依赖关系为。理论上来说，full标签的图片水印提取失败，对该图进行剪裁得到的图片水
印提取大概率也会失败。
[0015]上面两个方案中，后置标签的产生本来就依托于前置标签，因此他们直接构成依赖关系，这种依赖关系，可能是一对一，比如full和cut，也可以是一对多，比如original和dingding、weixin、feishu，这里仅展示了两个层级，实际还可以有更多层级。
[0016]同样地，还有水印强度，k的下标越小，水印强度越强，其提取成功率越高，此时，我们通过设置不同的水印强度，拍摄得到的屏摄原图就会被添加上水印强度这个标签，这些标签之间的产生不依赖彼此，但是这些标签对应的样本测试结果有一定的关联性，比如在设置屏幕隐形水印的水印强度为k2的情况下拍摄得到的屏摄原图，算法已经提取不了隐形水印，那么对于其他更小的水印强度，也大概率提取不了隐形水印，因此，不同的水印强度之间也形成了标签依赖，且它们的依赖关系为单向多层级的关系，即。
[0017]本专利技术优选的实施例中，包括如下任意一组或任意多组的标签及其依赖关系：第一组标签表达的是压缩依赖关系，第二组标签表达的是剪裁依赖关系，第三组标签表达的是水印强度依赖关系，这个针对的样本为嵌入了隐形水印的屏摄图或截屏图。对于其他样本，应该有设置不同的标签和不同的依赖关系，这里就不再详细阐述，只需要按照上面所述的思路按实际情况设置即可。
[0018]属于同一组的标签，本身具有互斥性，比如上面所示意的三组标签，每一组标签中的各标签在某个样本上只会有一个，所以为样本添加标签时，针对任一组标签最多只有一个标签添加至某个样本上。
[0019]完成上述两个步骤的执行后，我们就可以对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升大规模样本测试效率的自动化测试方法，其特征在于：包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。2.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：按如下步骤对样本进行测试：S101、从总样本集中挑选出包括所有组标签的第一层级标签的样本，构建第一样本集，余下的样本构成第一未测试样本集；S102、对第一样本集进行测试得到测试结果；S103、遍历第一未测试样本集中的样本，若该样本的标签与第一样本集中的样本标签仅有一个相异，则将该样本添加至第二样本集中，余下的样本构成第二未测试样本集；S104、遍历第二样本集中的样本，若该样本与第一样本集中的某个样本的测试结果存在依赖关系，则将后者的测试结果作为该样本的测试结果；否则直接进行测试得到测试结果；S105、依照步骤S103和S104类推，直至所有样本测试完毕。3.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：按如下步骤对样本进行测试：遍历总样本集中的样本得到待测试样本集；按顺序对待测试样本集中的样本进行测试，测试步骤如下：S201、根据待测试样本的标签判断其有无具有依赖关系的前置样本，若有则执行步骤S202，否则执行步骤S204；S202、判断前置样本有无测试结果，若没有测试结果，则将该样本添加至待测试样本集的末尾并执行步骤S205，若有测试结果，则执行步骤S203；S203、判断前置样本和该样本的测试结果有无依赖关系，若有则将前置样本的测试结果作为该样本的测试结果并执行步骤S205；否则执行步骤S204；S204、对该样本进行测试得到测试结果后执行步骤S205；S205、返回步骤S201测试下一个待测试样本直至待测试样本集测试完毕。4.如权利要求3所述的提升大规模样本测试效率的自动化测试方法，其特征在于：所述的步骤S201中，包括如下步骤：获取待测试样本的标签；分别获取每个标签所在组中比该标签层级更高且具有依赖关系的其他标签得到每个标签的前置标签；根据每个标签的前置标签的自由组合匹...

【专利技术属性】
技术研发人员：田辉，张城成，郭玉刚，张志翔，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：