本公开提供了一种不稳定测试用例的处理方法、装置、设备和存储介质，涉及计算机技术领域，具体涉及自动化测试等技术领域。不稳定测试用例的处理方法包括：获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。本公开可以提高不稳定测试用例的处理效果。公开可以提高不稳定测试用例的处理效果。公开可以提高不稳定测试用例的处理效果。
【技术实现步骤摘要】
不稳定测试用例的处理方法、装置、设备和存储介质
[0001]本公开涉及计算机
，具体涉及自动化测试等
，尤其涉及一种不稳定测试用例的处理方法、装置、设备和存储介质。
技术介绍
[0002]软件工程领域中，可以采用测试用例(test case)对软件进行自动化测试，以获得测试结果，从而可以通过测试结果检测软件质量。一般来讲，测试结果为失败(fail)表示软件存在问题(bug)，测试结果为成功(pass)表示软件不存在问题。
[0003]不稳定测试用例是指被测对象和测试条件都不变的情况下，测试结果有时成功有时失败的测试用例。由于不稳定测试用例(flaky test或flaky case)的存在，基于测试结果检测软件质量的确定性被破坏，无法达到自动化测试的目的。因此，不稳定测试用例一般被认为是有害的。
技术实现思路
[0004]本公开提供了一种不稳定测试用例的处理方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种不稳定测试用例的处理方法，包括：获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。
[0006]根据本公开的另一方面，提供了一种不稳定测试用例的处理装置，包括：获取模块，用于获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；第一确定模块，用于基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；第二确定模块，用于若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
[0010]根据本公开的另一方面，提供了一种自动化测试平台，包括上述的电子设备。
[0011]根据本公开的技术方案，可以提高不稳定测试用例的处理效果。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开第一实施例的示意图；
[0015]图2是根据本公开第二实施例的示意图；
[0016]图3是根据本公开第三实施例的示意图；
[0017]图4是根据本公开第四实施例的示意图；
[0018]图5是根据本公开第五实施例的示意图；
[0019]图6是根据本公开第六实施例的示意图；
[0020]图7是根据本公开第七实施例的示意图；
[0021]图8是根据本公开第八实施例的示意图；
[0022]图9是根据本公开第九实施例的示意图；
[0023]图10是根据本公开第十实施例的示意图；
[0024]图11是用来实现本公开实施例的不稳定测试用例的处理方法的电子设备的示意图。
具体实施方式
[0025]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]由于不稳定测试用例会导致测试结果的不稳定、不可靠，为此，一般会先识别出不稳定测试用例，以对不稳定测试用例进行后续处理。
[0027]相关技术中，可以选定一个无缺陷的基线软件环境运行测试用例集合多次，测试结果为至少一次失败的测试用例被标记为不稳定测试用例，即标记为flaky状态。
[0028]但是，这种处理方式，在实际环境内存在标注量级太大、准确性波动较大的问题。
[0029]为了提高不稳定测试用例的处理效果，本公开可以提供如下实施例。
[0030]图1是根据本公开第一实施例的示意图，本实施例提供一种不稳定测试的处理方法，包括：
[0031]101、获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息。
[0032]102、基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例。
[0033]103、若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。
[0034]本实施例的执行主体可以为不稳定测试用例的处理装置，该装置的具体形式不限定，可以为硬件、软件，或者软硬结合。该装置可以位于电子设备内，电子设备可以为用户终
端或者服务端，服务端可以为本地服务器或者云端，用户终端可以包括移动设备(如手机、平板电脑)、可穿戴式设备(如智能手表、智能手环)、车载设备(如车机)等。
[0035]一般来讲，本实施例的方法可以应用于服务端。
[0036]本实施例的应用场景可以为软件的自动化测试平台或框架。
[0037]如图2所示，测试人员或开发人员可以通过用户终端201将被测试软件传输给服务端202，服务端包括自动化测试平台，被测试软件(具体可以为软件的源代码)被输入到自动化测试平台，自动化测试平台内可以存储测试用例(test case)或者从其他部件获取测试用例，自动化测试平台采用测试用例，对测试软件进行自动化测试，以获得测试结果。
[0038]测试结果可以为：成功(pass)或者失败(fail)。
[0039]可以理解的是，失败(fail)的含义是广义的，可以将非成功的状态归类为失败，即失败还可以包括测试结果为错误(error)的情况。
[0040]一个测试用例可以用于测试不同版本的被测试软件，比如，被测试软件包括第一版本、第二版本、第三版本等，对应每个版本，可以获得一组测试运行数据，比如，针对某个测试用例A，其用于测试上述三个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种不稳定测试用例的处理方法，包括：获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用于确定所述测试用例是否为不稳定测试用例；若所述不稳定概率值大于预设阈值，确定所述测试用例为不稳定测试用例。2.根据权利要求1所述的方法，其中，所述获取测试用例的至少一组测试运行数据，包括：从所述测试用例的历史运行记录中，获取至少一组历史测试运行数据，作为所述至少一组测试运行数据。3.根据权利要求1所述的方法，其中，所述不稳定概率值与所述测试结果为成功的概率值成反比，且与所述测试结果为成功且发生重试的概率值成正比。4.根据权利要求3所述的方法，其中，所述基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，包括：基于所述组数和所述测试结果为成功的次数，确定第一概率值，所述第一概率值为所述测试结果为成功的概率值；基于所述组数、所述测试结果为成功且所述重试信息表明发生重试的次数，确定第二概率值，所述第二概率值为所述测试结果为成功且发生重试的概率值；确定所述第二概率值与所述第一概率值的比值，将所述比值作为所述不稳定概率值。5.根据权利要求4所述的方法，其中，所述基于所述组数和所述测试结果为成功的次数，确定第一概率值，包括：将所述测试结果为成功的次数与所述组数的比值，确定为所述第一概率值。6.根据权利要求4所述的方法，其中，所述基于所述组数、所述测试结果为成功且所述重试信息表明发生重试的次数，确定第二概率值，包括：将所述测试结果为成功且所述重试信息表明发生重试的次数，与所述组数的比值，确定为所述第二概率值。7.根据权利要求1
‑
6任一项所述的方法，还包括：若所述测试用例为不稳定测试用例，对所述不稳定测试用例进行隔离处理。8.一种不稳定测试用例的处理装置，包括：获取模块，用于获取测试用例的至少一组测试运行数据，所述至少一组测试运行数据中各组测试运行数据包括：测试结果和重试信息；第一确定模块，用于基于所述至少一组测试运行数据的组数、所述测试结果和所述重试信息，确定不稳定概率值，所述不稳定概率值用...
【专利技术属性】
技术研发人员：薛大伟，田成，闫欣，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。