基于流水线的接口测试自动执行和分析方法及系统技术方案

本发明专利技术提供一种基于流水线的接口测试自动执行和分析方法及系统，该方法包括：设计测试用例步骤：将需要测试的接口进行登记，根据接口登记信息及接口说明设计测试用例，再将编写好的测试用例配置成不同的测试集合；配置流水线步骤：在流水线上配置接口测试节点，并为该节点选择测试环境及测试集合，设置通过阈值；执行测试步骤：当达到流水线设置的策略时，自动启动流水线，在流水线设置的环境中自动执行测试集合；分析测试结果步骤：通过将测试在执行过程中收集到的数据与设定值或设定规则做比较，来进行测试结果的判断和分析。本发明专利技术能够减少误报，提升测试效率，使自动化测试过程形成闭环。程形成闭环。程形成闭环。

【技术实现步骤摘要】
基于流水线的接口测试自动执行和分析方法及系统


[0001]本专利技术涉及计算机测试
，具体地，涉及一种基于流水线的接口测试自动执行和分析方法及系统。

技术介绍

[0002]目前针对敏捷开发，传统的手工测试已不能满足快速迭代快速发布的需求，必须要引入自动化测试方法。针对这种现状，已有通过手动或定时来自动执行测试用例的方法，但该方法中缺少对测试结果的自动分析，造成整个测试流程不够完整，没有形成闭环。
[0003]公开号为CN108681507A的专利技术专利，公开了一种实现RESTful API和web service服务自动化测试方法，该方法操作步骤如下：1)安装配置RESTful API和web service服务系统应用；2)在RESTful API或web service服务系统进行接口的基本信息维护；3)填写RESTful API或web service服务所需参数数值，进行用例设计，并保存；4)数据初始化；5)测试执行用例；6)查看结果准确性；7)回归测试；8)定时器实现测试用例自动化执行。其虽然能够实现自动执行测试用例，但缺少对测试结果的自动分析，使得测试只停留在自动执行阶段，测试最重要的结果分析和缺陷提交仍然需要人工参与，该方法未能做到真正意义上的自动化。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术提供一种基于流水线的接口测试自动执行和分析方法及系统。
[0005]根据本专利技术提供的一种基于流水线的接口测试自动执行和分析方法及系统，所述方案如下：r/>[0006]第一方面，提供了一种基于流水线的接口测试自动执行和分析方法，所述方法包括：
[0007]设计测试用例步骤：将需要测试的接口进行登记，根据接口登记信息及接口说明设计测试用例，再将编写好的测试用例配置成不同的测试集合，留待给配置流水线使用；
[0008]配置流水线步骤：在流水线上配置接口测试节点，并为该节点选择测试环境及测试集合，设置通过阈值，为测试用例自动执行与测试结果自动分析提供基础；
[0009]执行测试步骤：当达到流水线设置的策略时，自动启动流水线，在流水线设置的环境中自动执行测试集合；
[0010]在执行过程中，记录测试的详细信息，测试结束后，给出完整的测试报告；
[0011]在测试报告中能够通过点击测试用例查看该测试用例的详细测试情况；
[0012]分析测试结果步骤：通过将测试在执行过程中收集到的数据与设定值或设定规则做比较，来进行测试结果的判断和分析；
[0013]通过计算测试通过率，并将通过率与流水线设置的通过阈值进行比较，自动判断测试结果；
[0014]通过测试日志中的关键字，自动分析执行失败的测试用例的原因，并按分析结果自动提交测试缺陷。
[0015]优选的，所述步骤S1包括：
[0016]登记接口：将需要测试的接口进行登记，登记信息包括：基础信息、请求参数、响应参数及关联需求；其中基础信息的设置中，包括选择接口对应的应用、设置接口名及请求路径；
[0017]编写测试用例：在新增接口测试用例时，默认把接口登记时的基础信息配置补充到测试用例的相关参数中，编写人员在此基础上调整测试值，设置响应断言，即能完成测试用例的编写；
[0018]配置测试集合：通过选择已编写完成的测试用例来配置测试集合，按需设置多个测试集合，提供给流水线选择用。
[0019]优选的，所述步骤S2包括：
[0020]添加测试节点：在流水线管理系统中，通过选择流水线类型及需要使用的流水线模板新增流水线，在模板的指定位置添加接口测试节点；
[0021]配置节点信息：在接口测试节点，通过配置测试执行时的环境以及测试集合来形成流水线自动执行的基础，节点上还需配置通过阈值，为后续分析测试结果提供基准。
[0022]优选的，所述步骤S3包括：
[0023]触发流水线：当达到流水线设置的策略时，会自动启动流水线；
[0024]执行测试形成测试报告：流水线触发后，运行到测试节点时，会在设定的环境中执行配置好的测试集合；
[0025]执行结束后，会给出详细的测试报告，报告内容包括：测试时间、持续时间、测试用例个数、测试通过率及每一个测试用例的运行结果。
[0026]优选的，所述步骤S4包括：
[0027]判断测试结果：测试结束后，自动计算测试通过率；
[0028]将测试通过率与流水线上设置的通过阈值进行比较，测试通过率>＝测试阈值，则本轮测试的结果为通过，如果测试通过率<通过阈值,则本轮测试的结果为失败；
[0029]分析失败原因：通过对测试日志中的关键字进行分析来判断测试用例执行失败的原因；
[0030]提交缺陷：测试执行完成，对于执行失败的测试用例自动将缺陷提交到缺陷库中；提交时，根据分析后的失败类型自动指派给不同的人员进行解决，同时将分析得出的失败原因及相关的测试日志信息也一并录入，方便相关人员定位和解决缺陷。
[0031]第二方面，提供了一种基于流水线的接口测试自动执行和分析系统，所述系统包括：
[0032]设计测试用例模块：将需要测试的接口进行登记，根据接口登记信息及接口说明设计测试用例，再将编写好的测试用例配置成不同的测试集合，留待给配置流水线使用；
[0033]配置流水线模块：在流水线上配置接口测试节点，并为该节点选择测试环境及测试集合，设置通过阈值，为测试用例自动执行与测试结果自动分析提供基础；
[0034]执行测试模块：当达到流水线设置的策略时，自动启动流水线，在流水线设置的环境中自动执行测试集合；
[0035]在执行过程中，记录测试的详细信息，测试结束后，给出完整的测试报告；
[0036]在测试报告中点能够通过点击测试用例查看该测试用例的详细测试情况；
[0037]分析测试结果模块：通过将测试在执行过程中收集到的数据与设定值或设定规则做比较，来进行测试结果的判断和分析；
[0038]通过计算测试通过率，并将通过率与流水线设置的通过阈值进行比较，自动判断测试结果；
[0039]通过测试日志中的关键字，自动分析执行失败的测试用例的原因，并按分析结果自动提交测试缺陷。
[0040]优选的，所述模块M1包括：
[0041]登记接口：将需要测试的接口进行登记，登记信息包括：基础信息、请求参数、响应参数及关联需求；其中基础信息的设置中，包括选择接口对应的应用、设置接口名及请求路径；
[0042]编写测试用例：在新增接口测试用例时，默认把接口登记时的基础信息配置补充到测试用例的相关参数中，编写人员在此基础上调整测试值，设置响应断言，即能完成测试用例的编写；
[0043]配置测试集合：通过选择已编写完成的测试用例来配置测试集合，按需设置多个测试集合，提供给流水线选择用。
[0044]优选的，所述模块M2包括：
[0045]添加测试节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流水线的接口测试自动执行和分析方法，其特征在于，包括：设计测试用例步骤：将需要测试的接口进行登记，根据接口登记信息及接口说明设计测试用例，再将编写好的测试用例配置成不同的测试集合，留待给配置流水线使用；配置流水线步骤：在流水线上配置接口测试节点，并为该节点选择测试环境及测试集合，设置通过阈值，为测试用例自动执行与测试结果自动分析提供基础；执行测试步骤：当达到流水线设置的策略时，自动启动流水线，在流水线设置的环境中自动执行测试集合；在执行过程中，记录测试的详细信息，测试结束后，给出完整的测试报告；在测试报告中能够通过点击测试用例查看该测试用例的详细测试情况；分析测试结果步骤：通过将测试在执行过程中收集到的数据与设定值或设定规则做比较，来进行测试结果的判断和分析；通过计算测试通过率，并将通过率与流水线设置的通过阈值进行比较，自动判断测试结果；通过测试日志中的关键字，自动分析执行失败的测试用例的原因，并按分析结果自动提交测试缺陷。2.根据权利要求1所述的基于流水线的接口测试自动执行和分析方法，其特征在于，所述步骤S1包括：登记接口：将需要测试的接口进行登记，登记信息包括：基础信息、请求参数、响应参数及关联需求；其中基础信息的设置中，包括选择接口对应的应用、设置接口名及请求路径；编写测试用例：在新增接口测试用例时，默认把接口登记时的基础信息配置补充到测试用例的相关参数中，编写人员在此基础上调整测试值，设置响应断言，即能完成测试用例的编写；配置测试集合：通过选择已编写完成的测试用例来配置测试集合，按需设置多个测试集合，提供给流水线选择用。3.根据权利要求1所述的基于流水线的接口测试自动执行和分析方法，其特征在于，所述步骤S2包括：添加测试节点：在流水线管理系统中，通过选择流水线类型及需要使用的流水线模板新增流水线，在模板的指定位置添加接口测试节点；配置节点信息：在接口测试节点，通过配置测试执行时的环境以及测试集合来形成流水线自动执行的基础，节点上还需配置通过阈值，为后续分析测试结果提供基准。4.根据权利要求1所述的基于流水线的接口测试自动执行和分析方法，其特征在于，所述步骤S3包括：触发流水线：当达到流水线设置的策略时，会自动启动流水线；执行测试形成测试报告：流水线触发后，运行到测试节点时，会在设定的环境中执行配置好的测试集合；执行结束后，会给出详细的测试报告，报告内容包括：测试时间、持续时间、测试用例个数、测试通过率及每一个测试用例的运行结果。5.根据权利要求1所述的基于流水线的接口测试自动执行和分析方法，其特征在于，所述步骤S4包括：
判断测试结果：测试结束后，自动计算测试通过率；将测试通过率与流水线上设置的通过阈值进行比较，测试通过率>＝测试阈值，则本轮测试的结果为通过，如果测试通过率<通过阈值,则本轮测试的结果为失败；分析失败原因：通过对测试日志中的关键字进行分析来判断测试用例执行失败的原因；提交缺陷：测试执行完成，对于执行失败的测试用例自动将缺陷提交到缺陷库中；提交时，根据分析后的失败类型自动指派给不同的人员进行解决，同时将分析得出的失败原因及相关的测试日志信息也一并录入，方便相关人员定位和解决缺陷。6.一种...

【专利技术属性】
技术研发人员：王樱，毛玲燕，苏盼，张彦琼，李长春，徐玉刚，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：