性能测试系统和方法技术方案

公开了性能测试系统、性能测试的计算机执行方法以及具体化成用于性能测试的计算机程序的非临时计算机可读介质。在一个实施方式中，性能测试系统包括被配置为执行性能测试的处理结构，所述性能测试包括在一个测试周期中自动地、重复地发起针对至少一个测试目标的多个并发测试会话，所述处理结构被配置为在测试周期中接收测试修改请求，并作为对这些请求的响应，在测试周期时间段的剩余部分自动地修改所述性能测试。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本专利申请根据35U.S.C.119(e)主张申请日为2014年5月18日的美国临时专利申请No.61/994,947的优先权。
以下说明一般而言涉及软件测试，且更特定而言，涉及用于性能测试的系统和方法。
技术介绍
传统的性能测试工具通常在静态条件下进行性能测试，所述的静态条件例如并发用户数量，被测试的场景，以及被测试的不同场景的顺序。这些性能测试工具用于性能问题分析的效率较低，如测试者可能不得不修改测试条件多次运行测试以得到不同的测试结果用于比较由于条件变化带来的影响。而且，由于这些工具不能在场景随机或并发的现实情况中进行测试，所以这些工具不能执行被测系统的总体检验。
技术实现思路
在一个方面，提供了一种性能测试系统，包括被配置为执行性能测试的处理结构，所述性能测试包括在一个测试周期中自动地、重复地按照随机顺序发起针对至少一个性能测试目标的多个并发测试会话，所述处理结构被配置为在测试周期中接收测试修改请求，并作为对这些请求的响应，在测试周期的剩余部分自动地修改所述性能测试。在另一个方面，提供了一种用于性能测试的计算机执行方法包括：使用计算机，执行包括在一个测试周期中自动地、重复地按照随机顺序发起针对至少一个性能测试目标的多个并发测试会话的性能测试；以及使用计算机，在测试周期中接收测试修改请求，并作为响应，在测试周期的剩余部分自动地修改所述性能测试。在另一个方面，提供了一种具体化成可以在计算机程序上执行以进行性能测试的计算机程序的非临时计算机可读介质，所述计算机程序包括用于执行性能测试的、包括在一个测试周期中按照随机顺序自动地、重复地发起不同场景的针对至少一个测试目标的多个并发测试会话的计算机程序代码；以及为在测试周期中接收测试修改请求，并作为响应，在测试周期的剩余部分自动地修改所述性能测试的计算机程序代码。基于上述系统和方法的改进，在一个测试周期中对一次正在运行的性能测试可以进行任意数量的修改，同时性能测试可以保持运行而无需为了实施修改而停止执行。动态调整测试参数的能力，例如性能测试的运行过程以及性能测试强度，有助于进行性能问题的根本原因分析。在基于截止到测试点的进展情况的真实性能测试中，性能测试者可以使用所述性能测试系统反复地与所述系统互动。在另一个方面，提供了一种性能测试系统，包括被配置为执行性能测试的处理结构，所述性能测试包括在一个测试周期中自动地、重复地发起针对一个性能测试目标的多个并发测试会话，所述处理结构被配置为在测试周期中接收对所述测试会话的即时统计数据中被选出的一个或多个子类的即时报告的请求，并且作为对这些请求的响应，自动地在所述测试周期中显示所述即时报告。在另一个方面，提供了一种用于性能测试的计算机执行方法包括：使用计算机，执行包括在一个测试周期中自动地、重复地按照随机顺序发起针对一个性能测试目标的多个并发测试会话的性能测试；以及使用计算机，在测试周期中接收对所述测试会话的即时统计数据中被选出的一个或多个子类的即时报告请求，并且作为对这些请求的响应，自动地在所述测试周期中显示所述即时报告。在另一个方面，提供了一种具体化成可以在计算机程序上执行以进行性能测试的计算机程序的非临时计算机可读介质，所述计算机程序包括用于执行性能测试的、包括在一个测试周期中自动地、重复地发起不同场景的针对至少一个测试目标的多个并发测试会话的计算机程序代码，以及为在测试周期中接收对所述测试会话的即时统计数据中被选出的一个或多个子类的即时报告的请求，并且作为对这些请求的响应，自动地在所述测试周期中显示所述即时报告的程序代码。基于上述系统和方法的改进，在一个测试周期中可以进行任意次数请求显示不同即时报表，同时性能测试可以保持运行无需为了实施修改而停止执行。动态调整报表参数的能力，例如哪些被报告的性能测试目标（例如机器、端口或插口，协议），被报告的统计数据或指标的性质（例如一个性能测试目标的CPU周期，或者等待时间，或者存储使用情况）以及按照这种方式的细化报告（比如按秒或分钟计数的取样时间）等，有助于进行性能问题的根本原因分析。在基于截止到测试点的进展情况的真实性能测试中，性能测试者可以按需索取报告或图表，反复地与所述系统互动。在测试周期中组合测试修改和报表请求为性能测试者提供了丰富的工具，使得性能测试者可以即时获得所寻找的指标的反馈以及在性能测试过程中性能测试者动态做出的特定修改如何对指标造成影响。这也相应地使得性能测试者了解应该如何进行修改，以实现更改性能测试的关键点或者核实初始指标。通过以下描述其它方面会更为清晰。简要附图说明参照以下附图描述本专利技术的实施方式。图1为图解说明性能测试的计算机执行方法的步骤流程图；图2为配置为执行所述性能测试，以及性能测试目标的计算机系统组成框图；图3为所述性能测试系统生成的用户界面截图，用于初始化并控制性能测试的参数以及在测试周期中显示即时报告；图4为表示所述性能测试系统逻辑组成的逻辑结构图。具体实施方式图1是性能测试的计算机执行方法90的步骤流程图，其由如图2所示的计算机系统1000执行并详细描述如下。在方法90中，初始性能参数被创建（步骤100），以及初始报告参数被创建（步骤200）。步骤100和步骤200以由用户通过如图3截屏所示的用户界面10完成。由此可见，如下所述，由计算机系统1000实现的性能测试可能通过多个与上述用户界面10类似的用户界面同时操作，通过多个用户执行针对不同性能目标的不同性能测试。例如，在初始设置时，用户可以通过点击创建项目按钮12创建一个项目26，然后设定测试参数如“目标端口”28（设定可以包括主机名、IP地址，端口号，协议名称等），待测试的用例30，组成每一个用例30的场景，在测试周期中需要通过性能测试系统初始化的每秒交易数量（TPS）,测试周期的时长，分配给每一个用例30的交易数量比例。设置一组标签60使得用户查看特定用例30、目标端口28等信息。作为通过点击创建项目按钮12创建项目的可选方式，用户还可以通过导入项目按钮14导入预先定义的项目。对于当前处于活动状态的项目，无论是新建立的或者导入的，都可以通过点击保存项目按钮16进行保存。在本实施方式中，如图4所示，已建立一项用于测试某系统的性能测试，该系统包括4个（4）不同的端口（目标端口），分别命名为“PCRFGx服务器”，\PCRFGxa服务器1\,\OCSGy服务器1\和\网络服务1\。进一步的，被测系统中的机器信息可以从目标接点的设定中得到，例如，“PCRFGx服务器”可以被部署在“机器1”上，同时，其它的可以被分别部署在同一台或其它不同的机器上。同样在本实施方式中，已建立3个（3）用例30，而且在用户界面中间部分显示的表格中，用例比例（参与的用例）36显示，在测试周期中，配置用于用例1的会话数占全部会话数的70%，其中60%作为用例1的场景1.1专用，10%作为用例1的场景1.2专用。在测试周期中，配置用于用例2的会话数占全部会话数的25%，而在测试周期中，配置用于用例3的会话数占全部会话数的5%。项目26在本实施方式中的测试参数进一步包括建立执行计划32，且设定处理1500每秒交易数量，并且一旦使用运行按钮20启动性能测试，性能测试将持续2个（2）小时。本文档来自技高网...

【技术保护点】
性能测试系统，其特征在于，包括被配置为执行性能测试的处理结构，所述性能测试包括在一个测试周期中自动地、重复地发起针对至少一个性能测试目标的多个并发测试会话，所述处理结构被配置为在测试周期中接收测试修改请求，并作为对这些请求的响应，在测试周期的剩余部分自动修改所述性能测试。

【技术特征摘要】
【国外来华专利技术】2014.05.18 US 61/9949471.性能测试系统，其特征在于，包括被配置为执行性能测试的处理结构，所述性能测试包括在一个测试周期中自动地、重复地发起针对至少一个性能测试目标的多个并发测试会话，所述处理结构被配置为在测试周期中接收测试修改请求，并作为对这些请求的响应，在测试周期的剩余部分自动修改所述性能测试。2.根据权利要求1所述的性能测试系统，其特征在于，所述处理结构被配置为通过改变所述测试会话的发起频率自动修改所述性能测试。3.根据权利要求1所述的性能测试系统，其特征在于，所述处理结构被配置为通过改变被发起的测试会话的场景自动修改所述性能测试。4.根据权利要求1所述的性能测试系统，其特征在于，所述性能测试包括在所述测试周期中自动地、重复地发起多个不同场景的测试会话，其中所述处理结构被配置为自动地通过改变即将被发起的每种场景的测试会话数量的相对比例以自动修改所述性能测试。5.根据权利要求1所述的性能测试系统，其特征在于，所述处理结构被配置为通过多种通信端口自动地、重复地发起针对至少一个性能测试目标的并发测试会话。6.根据权利要求1所述的性能测试系统，其特征在于，所述处理结构被配置具有一个用户界面使得用户可以运行性能测试并发起对测试的修改。7.一种性能测试的计算机实现方法，其特征在于，包括：使用计算机，执行性能测试，所述性能测试包括在一个测试周期中自动地、重复地发起针对至少一个性能测试目标的并发测试会话；且使用计算机，在所述测试周期中接收测试修改请求，作为对这些请求的响应，在所述测试周期的剩余部分自动修改所述性能测试。8.根据权利要求7所述的性能测试的计算机实现方法，其特征在于，进一步包括：使用计算机，通过改变所述测试会话的发起频率自动修改所述性能测试。9.根据权利要求7所述的计算机实现方法，其特征在于，进一步包括：使用计算机，通过改变被发起的测试会话的场景而自动修改所述性能测试。10.根据权利要求7所述的计算机实现方法，其特征在于，其中所述性能测试包括在所述测试周期中自动地、重复地发起多个不同场景的测试会话，其中所述实现方法进一步包括：使用计算机，自动地通过改变即将被发起的每一种场景的测试会话数量的相对比例以自动修改所述性能测试。11.根据权利要求7所述的计算机实现方法，其特征在于，进一步包括，使用计算机，通过多种通信端口自动地、重复地发起针对至少一个性能测试目标的并发测试会话。12.根据权利要求7所述的计算机实现方法，其特征在于，进一步包括，使用计算机，形成一个用户界面使用户可以运行性能测试并发起对测试的修改。13.一种非临时计算机可读介质，其特征在于，所述非临时计算机可读介质具体化成可在计算机系统上执行以进行性能测试的计算机程序，所述计算机程序包括：用于执行性能测试的计算机程序代码，所述性能测试包括在一个测试周期中自动地、重复地发起针...

【专利技术属性】
技术研发人员：周凯，
申请(专利权)人：周凯，
类型：发明
国别省市：加拿大;CA