一种自动化测试方法及装置、计算机可读存储介质制造方法及图纸

本申请公开了一种自动化测试方法，包括如下步骤：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。本申请还公开了一种自动化测试装置及计算机可读存储介质，通过实施上述方案，使得自动化测试工具每次自动执行测试用例时能使用多套测试参数，进而提高了测试工作的效率。

【技术实现步骤摘要】
一种自动化测试方法及装置、计算机可读存储介质
本专利技术涉及但不限于自动化测试
，尤其涉及一种自动化测试方法及装置、计算机可读存储介质。
技术介绍
测试是项目研发过程中的一个重要阶段，是确保产品质量的关键，而测试工作的核心任务是测试用例的开发、管理和运行。为了便于管理和查阅，测试管理员通常会将大量测试用例按照某种规则进行分类和汇总，形成一棵测试用例树，再利用自动化测试工具将这棵测试用例树展现给测试人员。测试人员在运行测试用例之前，应先按照测试要求配置相应的测试参数(或称为配置参数，包括OS环境变量、测试工具环境变量、测试预置数据等)，自动化测试工具根据所配置的测试参数自动完成指定测试用例的执行，并将测试结果呈现到测试用例树上。目前常用的自动化测试工具，如Java卡TCK(TechnologyCompatibilityKit)测试工具、GlobalPlatform测试套件等，都采用了这种测试模式。但是，现有的自动化测试工具每次自动执行测试用例时只能使用预先指定的一套测试参数，若要使用另一套测试参数，必须人工重新配置；并且每次测试用例执行完毕后，每个测试用例只能保留一个测试结果(包括执行状态和执行结果等信息)，再次执行时，前一次的测试结果会被清除。在实际的项目开发过程中，测试人员经常需要针对指定的一个、一组或全部测试用例使用多套不同的测试参数来反复执行，并收集全部测试结果进行汇总和比对。如果使用现有的自动化测试工具，由于测试用例上一次执行后的测试结果会被下一次执行后的测试结果覆盖掉，因此不便于测试人员对多次的测试结果进行比对。此外，由于每次自动执行测试用例时只能使用一套测试参数，测试人员需要长期值守在测试机前观察工作进度，配置、执行、记录的操作来回切换也比较繁琐，大量测试时难以保证人工操作不出任何差错。这对于项目工作来说是一个风险：一旦出错，测试工作就是不可靠的，随之产生的测试评估和分析结果也是不可信的，从宏观来说，对于整个项目及产品质量的保证和提升是一个很大的障碍。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种自动化测试方法及装置、计算机可读存储介质，能够同时运行多套不同的测试参数，提高测试效率。为了达到本专利技术目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种自动化测试方法，包括：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。进一步地，在创建所述测试参数组时，所述方法还包括：为所述测试参数组分配一个测试参数组标识和/或测试参数组名称。进一步地，在创建所述测试用例集时，所述方法还包括：为所述测试用例集分配一个测试用例集标识和/或测试用例集名称。进一步地，所述根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试的步骤之前，所述方法还包括：创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；为所述测试任务分配一个测试任务标识和/或测试任务名称。进一步地，在创建所述测试用例集时，所述方法还包括：设置所述测试用例集中的测试用例的执行顺序；所述根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，具体包括：根据测试任务中的所述测试参数组和测试用例集的绑定关系，利用测试任务中的测试用例集对应的测试参数组，并按照测试用例集中的测试用例的执行顺序，运行测试任务中的所述测试用例集中的测试用例。进一步地，所述方法之后还包括：在测试用例树上显示全部测试用例；在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。需要说明的是，所述测试结果包括但不仅限于执行状态、执行结果等信息。其中，执行状态包括是否执行完毕和/或执行时是否出现程序运行错误等信息，例如：已屏蔽、未执行、正在执行、运行错误；执行结果包括测试是否通过和/或是否存在告警提示等信息，例如：测试通过、测试失败、测试警告。其中，程序运行错误指的是由于测试系统本身(包括相关的配置参数和辅助工具等)出错导致测试用例不能顺利执行，这与执行结果中的测试失败不同，测试失败指的是该测试用例已执行完毕且没有通过测试，即测试对象(包括对应的软件或产品)出错。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的自动化测试方法的步骤。本专利技术实施例还提供了一种自动化测试装置，包括设置单元和执行单元，其中：设置单元，用于根据测试需求创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并设置测试参数组和测试用例集的绑定关系，其中，N、M均为大于1的自然数，将创建的测试参数组、测试用例集以及二者之间的绑定关系输出至执行单元；执行单元，用于根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。进一步地，所述设置单元还用于：创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；为所述测试任务分配一个测试任务标识和/或测试任务名称。进一步地，在创建所述测试用例集时，所述设置单元还用于：设置所述测试用例集中的测试用例的执行顺序。进一步地，所述自动化测试装置还包括显示单元，其中：所述显示单元用于：在测试用例树上显示全部测试用例，并在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。本专利技术的技术方案，具有如下有益效果：本专利技术提供的自动化测试方法及装置、计算机可读存储介质，通过将测试参数和测试用例分别进行独立管理，再根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组，按照测试用例集指定的顺序运行测试用例集内的测试用例，使得自动化测试工具每次自动执行测试时能使用多套测试参数和不同测试用例组合，进而提高了测试工作的效率；进一步地，通过在测试用例树上显示测试用例的与测试参数组对应的一个或一个以上的测试结果，便于测试人员查看多套测试参数下测试用例的测试结果，以及对多个测试结果进行比对分析。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例的一种自动化测试方法的流程示意图；图2为本专利技术第一实施例的一种自动化测试装置的结构示意图；图3为本专利技术第二实施例的一种自动化测试装置的结构示意图；图4为本专利技术实施例的一种执行单元的输入输出示意图；图5为本专利技术优选实施例的一种测试用例树的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况本文档来自技高网...

【技术保护点】
一种自动化测试方法，其特征在于，包括：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。

【技术特征摘要】
1.一种自动化测试方法，其特征在于，包括：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。2.根据权利要求1所述的自动化测试方法，其特征在于，所述方法之后还包括：在测试用例树上显示全部测试用例；并在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。3.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试参数组时，所述方法还包括：为所述测试参数组分配一个测试参数组标识和/或测试参数组名称。4.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试用例集时，所述方法还包括：为所述测试用例集分配一个测试用例集标识和/或测试用例集名称。5.根据权利要求1所述的自动化测试方法，其特征在于，所述利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试的步骤之前，所述方法还包括：创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；为所述测试任务分配一个测试任务标识和/或测试任务名称。6.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试用例集时，所述方法还包括：设置所述测试用例集中的测试用例的执行顺序；所述利用测试用例集对应的测试参...

【专利技术属性】
技术研发人员：刘立黎，尚微，王小文，
申请(专利权)人：大唐微电子技术有限公司，
类型：发明
国别省市：北京,11