一种众包测试任务完成度评估方法及系统技术方案

本发明专利技术公开了一种众包测试任务完成度评估方法及系统，根据测试过程条件得到测试成本元素数据集；对测试人力成本数据集和测试报告成本数据集相关性分析；获取测试报告结果的缺陷数据集，根据相关性分析的结果从预先构建的基于测试人力成本数据集和测试报告成本数据集的相关性程度的分段式可靠性模型框架中选择相应的建模方程，基于所述缺陷数据集利用最小二乘和最大似然的估计方法来估计所述建模方程的参数，得到软件潜在缺陷总数；根据所述缺陷数据集实际检测缺陷数量和所述软件潜在缺陷总数计算得到检测缺陷覆盖率，评估任务完成度。优点：保证测试软件质量的同时，也能够避免大量测试时间和测试资源的浪费，提高众包测试平台的整体性能。试平台的整体性能。试平台的整体性能。

【技术实现步骤摘要】
一种众包测试任务完成度评估方法及系统


[0001]本专利技术涉及一种任务完成度评估方法，特别是涉及一种众包测试任务完成度评估方法。

技术介绍

[0002]众包测试作为一种新兴的测试方法，其工作模式通常为众包测试平台在规定时间内发布任务给不同的测试工人完成，并在测试完成后将工人的测试报告进行融合与评估。该方法特有的人员多样性、互补性等优势可以大大提升缺陷的发现效率。但是这种分布式的测试方法与传统测试方法相比，缺乏科学合理的任务划分与任务分配，其测试过程也是不可见的，因此众包测试平台无法对测试过程进行有效地监控和管理，项目经理往往只能根据个人经验来计划众包测试任务的结束。然而这些基于经验的任务完成度评估策略可能会导致不满意的软件质量，也可能造成测试资源的浪费。针对此问题，现有技术中有从软件的可靠性出发对测试任务完成度进行评估。首先根据测试报告中缺陷的重叠性利用捕获
‑
重捕模型预测软件中的缺陷规模，然后通过分析已检测缺陷数量所占缺陷规模的百分比来衡量软件的可靠性和完成度。
[0003]然而，上述研究忽略了测试报告与测试人员成本对缺陷发现效率的影响。通常来说，参与测试任务的人员越多越活跃，那么平台接收到的测试报告也越多，则缺陷被发现的概率则更大。针对这个问题，基于测试工作量(Testing
‑
effort,TE)的软件可靠性增长模型(Software Reliability Growth Model,SRGM)被提出并受到广泛应用。SRGM从软件失效的角度进行可靠性建模，采用以微分方程(组)为主的数学手段建立软件测试过程中的若干个随机参量间的定量函数模型，例如测试时间、累积检测的缺陷数量、测试工作量等参量，从而求解出的累积检测缺陷数量函数表达式。然后通过比较检测的缺陷数量和估计的缺陷总数评估测试任务的进度。
[0004]虽然现有的基于TE的SRGM能够估计出缺陷潜在缺陷数量，但其研究主要集中于传统的软件测试模式下，而众包测试区别于传统的测试手段，以其参与者的随机多样性与测试报告数量的庞大性使得软件产品被更加合理充分地测试，这种大量的人力和报告成本的投入可能会导致测试的低效益性。因此，此任务完成度评估方法需要不仅仅适用于传统软件测试模式，还需要结合众包测试模式下的测试成本数据特征进行改进。

技术实现思路

[0005]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种众包测试报告自动化评估方法及系统。
[0006]为解决上述技术问题，本专利技术提供一种众包测试任务完成度评估方法，其特征在于，
[0007]根据预先设置的测试过程条件得到测试成本元素数据集，所述测试成本元素数据集包括测试人力成本数据集和测试报告成本数据集，所述预先设置的测试过程条件能够使
任务完成度评估方法满足众包测试行为；
[0008]对测试人力成本数据集和测试报告成本数据集相关性分析；
[0009]获取测试报告结果的缺陷数据集，根据相关性分析的结果从预先构建的基于测试人力成本数据集和测试报告成本数据集的相关性程度的分段式可靠性模型框架中选择相应的建模方程，选取和实际工作量拟合误差最小的工作量函数代入建模方程，并基于所述缺陷数据集利用最小二乘和最大似然的估计方法来估计所述建模方程的参数，得到软件潜在缺陷总数；
[0010]根据所述缺陷数据集实际检测缺陷数量和所述软件潜在缺陷总数计算得到检测缺陷覆盖率，评估任务完成度。
[0011]进一步的，所述测试过程条件包括：
[0012](1)测试过程中，缺陷检测过程随时间服从非齐次泊松过程；
[0013](2)所有的缺陷都是独立的，并且可以被检测到；
[0014](3)所有测试时间细化，将日历时间转化为时间戳形式，并保证测试起始时间为零；
[0015](4)每次测试报告被提交后，对发现的缺陷会立即被完美地修复，且不会引入新的缺陷；
[0016](5)测试报告中重复的缺陷只累积首次发现；
[0017](6)在(t,t+Δt)时间内检测到缺陷的平均数量与当前缺陷检测率b(t)及t时刻测试人员占用率w1(t)和t时刻测试报告消耗率w2(t)的共同作用消耗率下软件中剩余的平均缺陷数量成正比。
[0018]进一步的，所述相关性分析采用相关系数公式和热力图来进行分析。
[0019]进一步的，所述分段式可靠性模型框架为：
[0020][0021]其中，w1(t)为t时刻测试人员占用率，w2(t)为t时刻测试报告消耗率，a表示缺陷总数，λ和μ是相关性调和系数，b(t)表示缺陷检测率，a表示软件中的缺陷总数，m(t)表示时间间隔[0,t]内的检测缺陷数的期望均值函数；
[0022]所述分段式可靠性模型框架的三种相关性情况表示为：
[0023]当ρ(P,R)≥0.7时，此时P和R相关性极强，表示在(t,t+Δt)时间内检测到缺陷的平均数量与某一元素工作量消耗率下的软件中剩余的平均缺陷数量成正比，P为测试人力成本数据集，R为测试报告成本数据集；
[0024]当0.4≤ρ(P,R)＜0.7时，此时P和R相关性较弱，表示在(t,t+Δt)时间内检测到缺陷的平均数量与两个元素消耗率权重和下的软件中剩余的平均缺陷数量成正比；
[0025]当ρ(P,R)≤0.4时，此时P和R基本无关，表示在(t,t+Δt)时间内检测到缺陷的平
均数量与两个元素共同消耗率下的软件中剩余的平均缺陷数量皆成正比。
[0026]进一步的，所述工作量函数包括：
[0027]Weibull
‑
Type TEF、Logistic TEF和Log
‑
Logistic TEF；
[0028]通过使用上述三种工作量函数对人员和报告成本数据进行拟合，比较拟合效果后，确定和实际工作量拟合误差最小的工作量函数。
[0029]一种众包测试任务完成度评估系统，包括：
[0030]第一确定模块，用于根据预先设置的测试过程条件确定测试成本元素数据集，所述测试成本元素数据集包括测试人力成本数据集和测试报告成本数据集，所述预先设置的测试过程条件能够使任务完成度评估方法满足众包测试行为；
[0031]分析模块，用于对测试人力成本数据集和测试报告成本数据集相关性分析；
[0032]第二确定模块，用于获取测试报告结果的缺陷数据集，根据相关性分析的结果从预先构建的基于测试人力成本数据集和测试报告成本数据集的相关性程度的分段式可靠性模型框架中选择相应的建模方程，选取和实际工作量拟合误差最小的工作量函数代入建模方程，并基于所述缺陷数据集利用最小二乘和最大似然的估计方法来估计所述建模方程的参数，确定软件潜在缺陷总数；
[0033]计算模块，用于根据所述缺陷数据集实际检测缺陷数量和所述软件潜在缺陷总数计算得到检测缺陷覆盖率，评估任务完成度。
[0034]进一步的，所述第一确定模块包括条件确定模块，用于确定如下测试过程条件：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种众包测试任务完成度评估方法，其特征在于，根据预先设置的测试过程条件得到测试成本元素数据集，所述测试成本元素数据集包括测试人力成本数据集和测试报告成本数据集，所述预先设置的测试过程条件能够使任务完成度评估方法满足众包测试行为；对测试人力成本数据集和测试报告成本数据集相关性分析；获取测试报告结果的缺陷数据集，根据相关性分析的结果从预先构建的基于测试人力成本数据集和测试报告成本数据集的相关性程度的分段式可靠性模型框架中选择相应的建模方程，选取和实际工作量拟合误差最小的工作量函数代入建模方程，并基于所述缺陷数据集利用最小二乘和最大似然的估计方法来估计所述建模方程的参数，得到软件潜在缺陷总数；根据所述缺陷数据集实际检测缺陷数量和所述软件潜在缺陷总数计算得到检测缺陷覆盖率，评估任务完成度。2.根据权利要求1所述的众包测试任务完成度评估方法，其特征在于，所述测试过程条件包括：(1)测试过程中，缺陷检测过程随时间服从非齐次泊松过程；(2)所有的缺陷都是独立的，并且可以被检测到；(3)所有测试时间细化，将日历时间转化为时间戳形式，并保证测试起始时间为零；(4)每次测试报告被提交后，对发现的缺陷会立即被完美地修复，且不会引入新的缺陷；(5)测试报告中重复的缺陷只累积首次发现；(6)在(t,t+Δt)时间内检测到缺陷的平均数量与当前缺陷检测率b(t)及t时刻测试人员占用率w1(t)和t时刻测试报告消耗率w2(t)的共同作用消耗率下软件中剩余的平均缺陷数量成正比。3.根据权利要求1所述的众包测试任务完成度评估方法，其特征在于，所述相关性分析采用相关系数公式和热力图来进行分析。4.根据权利要求1所述的众包测试任务完成度评估方法，其特征在于，所述分段式可靠性模型框架为：其中，w1(t)为t时刻测试人员占用率，w2(t)为t时刻测试报告消耗率，a表示缺陷总数，λ和μ是相关性调和系数，b(t)表示缺陷检测率，a表示软件中的缺陷总数，m(t)表示时间间隔[0,t]内的检测缺陷数的期望均值函数；所述分段式可靠性模型框架的三种相关性情况表示为：当ρ(P,R)≥0.7时，此时P和R相关性极强，表示在(t,t+Δt)时间内检测到缺陷的平均
数量与某一元素工作量消耗率下的软件中剩余的平均缺陷数量成正比，P为测试人力成本数据集，R为测试报告成本数据集；当0.4≤ρ(P,R)＜0.7时，此时P和R相关性较弱，表示在(t,t+Δt)时间内检测到缺陷的平均数量与两个元素消耗率权重和下的软件中剩余的平均缺陷数量成正比；当ρ(P,R)≤0.4时，此时P和R基本无关，表示在(t,t+Δt)时间内检测到缺陷的平均数量与两个元素共同消耗率下的软件中剩余的平均缺陷数量皆成正比。5.根据权利要求1所述的众包测试任务完成度评估方法，其特征在于，所述工作量函数包括：Weibull
‑
Type TEF、Logistic TEF和Log
‑
Logistic TEF；通过使用上述三种工作量函数对人员和报告成本数据进行拟合，比较拟合效果后，确定和实际工作量拟合误差最小的工作量函数。6.一种众包测试任务完成度评估系统，其特征在于，包括：第一确定模块，用于根据预先设置的测试过程条件确定测试成本...

【专利技术属性】
技术研发人员：黄松，刘语婵，史涯晴，郑长友，王梅娟，吴开舜，陈浩，骆润，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：