一种协议一致性测试的方法及系统技术方案

本发明专利技术提供了一种协议一致性测试的方法和系统，其中所述方法包括：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。本发明专利技术可用于在启动一项测试任务时能够支持多套被测设备进行自动化测试，因而在无人值守的情况下提高测试效率、降低测试成本。

【技术实现步骤摘要】
一种协议一致性测试的方法及系统
本专利技术涉及通信
，特别是涉及一种协议一致性测试的方法，以及，一种协议一致性测试的系统。
技术介绍
计算机网络尤其是internet正以前所未有的速度走进人类生活的方方面面并发挥着日益重要的作用。协议是网络的灵魂，是通信双方共同遵守的标准与规范，是网络建立和应用的基础，理所当然地成为当前研究的热点。但是在实践中，通常制定协议与实现协议是由不同的技术人员完成的，因此对于同一协议标准，不同的厂家可能有不同的实现，因此迫切需要一种有力的方法来对协议实现进行判别，这种方法就是“协议测试”。协议测试一般分为三类：一致性测试，性能测试和互操作性测试。一致性测试是协议测试的基础，协议只有保证它的实现与标准的一致性，才能进行下一步的性能测试与互操作测试。目前的协议一致性测试系统大都支持两种测试模式：手动测试与自动化测试。由于协议一致性测试系统的测试用例集中且测试用例数量庞大，采用手动测试的方法遍历执行整个测试集往往需要耗费大量的时间，故主要用于产品研发前期（产品研发前期特性支持不全，Bug（漏洞）较多）进行特性集成测试以及Bug定位。随着产品特性的丰富，采用常规的手动测试无法满足需求，自动化测试的需求重要性不言而喻。现有的协议一致性测试系统自动化测试中，由测试执行(TestExecute，简称TE)触发相关的测试流程（现有的自动化测试测试流程如图1所示），由自动化测试服务器(AutomationTestServer，简称ATServer)适配被测系统(SystemUnderTest，简称SUT)的自动测试服务，测试执行(TE)与自动化测试服务器(ATServer)一一对应实现对被测系统(SUT)的自动化协议测试。现有的协议一致性测试系统自动化测试多采用上述“一对一”的测试配置方案，即在一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系是一一对应的。参照图2示出了“一对一”集中式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在同一台机器中；或者，参照图3示出了“一对一”分布式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在不同的机器。不管如何，测试执行(TE)与被测系统(SUT)之间都属于“一对一”的部署方式，这就决定了在一项测试任务下只能对一套被测系统的自动化测试。上述的协议一致性测试系统自动化测试采用的“一对一”的测试配置方案存在以下不足：(1)测试效率低，采用“一对一”的测试配置方案，一项测试任务下只能对一套被测系统(SUT)进行自动化测试；(2)测试配置不灵活，如果采用集中式部署，在支持多套被测系统的测试的情况下，将导致“驱动泛滥”(如同一台机器装载多套被测系统的驱动软件)，容易引起软件冲突；如果采用分布式部署，虽然解决了软件冲突，但还是无法解决同一项任务下只能对一套被测系统(SUT)进行自动化测试的问题。(3)测试成本高，自动化测试多在无人值守的情况下进行，如果需要对多套被测系统(SUT)进行自动化测试，需要配置多套测试执行(TE，多指仪表)，而测试执行(TE)价格昂贵，将会导致测试成本大幅增加。因此，本领域技术人员所要解决的技术问题是提供一种一致性测试系统自动化测试机制，用以灵活进行自动化测试，提高自动化测试的效率，降低自动化测试成本。
技术实现思路
本专利技术所要解决的技术问题是提供一种协议一致性测试的方法，用于在启动一项测试任务时能够支持多套被测设备进行自动化测试，因而在无人值守的情况下提高测试效率、降低测试成本。相应的，本专利技术还提供了一种协议一致性测试的系统，用以保证上述方法的实现及应用。为了解决上述问题，本专利技术公开了一种协议一致性测试的方法，包括：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。优选地，所述分别在子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集的步骤包括：按测试需求选择N个子测试任务，其中所述N大于1；获取所述N个子测试任务的测试逻辑；分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。优选地，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。优选地，所述测试配置参数包括运行脚本参数以及测试指令集，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。优选地，其特征在于，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。优选地，所述的方法还包括：生成测试报告。本专利技术还公开了一种协议一致性测试的系统，包括：子测试任务启动模块，用于启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；测试用例执行模块，用于分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。优选地，所述测试用例执行模块包括：子测试计划选择子模块，用于按测试需求选择N个子测试任务，其中所述N大于1；测试逻辑获取子模块，用于获取所述N个子测试任务的测试逻辑；测试用例集执行子模块，用于分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。优选地，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。优选地，所述测试配置参数包括运行脚本参数以及测试指令集，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。优选地，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。优选地，所述的系统还包括：测试报告生成模块，用于生成测试报告。与现有技术相比，本专利技术包括以下优点：本专利技术分解测试任务为多项子测试任务构成，每项子测试任务拥有本次子测试任务的测试参数配置，并独立绑定自动化测试服务器(ATServer)适配被测系统(SUT)。另一方面，本专利技术引入复合测试任务(MTP，每个MTP可由一个或多个子测试任务依照一定的规则顺序组合)，驱动复合测试任务(MTP)实现多终端、分布式的自动化测试，从而达到以下有益效果：1、提高测试效率采用“一对多”的测试配置方案，启动一项测试任务对应多项子测试任务，能够对多套被测设备进行自动化测试，因而无人值守的情况下支持对多套被测设备进行自动化测试。2、测试配置灵活采用分布式部署，可以支持一套或多套被测系统的测试，而且很好地解决了“驱动泛滥”(如同一台机器装载多套被测设备的驱动软件)的问题，不会引起软件冲突，很好地实现了分布式、多被测设备的自动化测试。3、降低测试成本文档来自技高网...

【技术保护点】
一种协议一致性测试的方法，其特征在于，包括：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

【技术特征摘要】
1.一种协议一致性测试的方法，其特征在于，包括：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；所述测试配置参数包括运行脚本参数和自动化测试指令集；分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。2.根据权利要求1所述的方法，其特征在于，所述分别在子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集的步骤包括：按测试需求选择N个子测试任务，其中所述N大于1；获取所述N个子测试任务的测试逻辑；分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。3.根据权利要求2所述的方法，其特征在于，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。4.根据权利要求2所述的方法，其特征在于，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。5.根据权利要求1所述的方法，其特征在于，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。6.根据权利要求1-5任一权利要求所述的方法，其特征在于，还包括：生成测试报告。7.一种协议一致性测试的系...

【专利技术属性】
技术研发人员：王福，李雷，
申请(专利权)人：大唐联仪科技有限公司，
类型：发明
国别省市：