一种多版本性能测试方法及装置制造方法及图纸

本申请公开了一种多版本性能测试方法及装置，该方法获取待测版本的各性能指标的测试数据，当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。通过上述方法，若已根据待测版本的历史版本确定出了各性能指标的基准值，则对于待测版本的各性能指标的测试数据，不用逐个进行人工分析，而是通过将该测试数据与对应的基准值进行匹配，即可以确定该待测版本的性能是否正常，因此，提高了测试效率。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及一种多版本性能测试方法及装置。
技术介绍
目前，在对软件产品进行性能测试时，可基于为该软件产品选定的性能指标，测试获得各性能指标对应的测试数据，然后，根据测试场景，对获取的测试数据进行人工分析，以确定该软件产品的性能是否正常。其中，所述的性能指标可以是中央处理器(Central Processing Unit，CPU)利用率、磁盘利用率、网络利用率、内存消耗量等等。但是，对于大中型软件产品，由于其通常包含了多个子系统和/或模块，架构复杂，因此，这些软件系统的研发周期较长，而且在整个研发周期内，可能会迭代开发以及发布多个版本，相应的，对各个版本也都要进行性能测试。在这种情况下，由于每个子系统和/或模块都有自己的性能指标，因此待测的性能指标总数量很多，而每发布一个新版本，都要对这些性能指标对应的测试数据重新进行人工分析，测试效率低下。
技术实现思路
本申请实施例提供一种多版本性能测试方法，用以解决现有技术中对大中型软件产品的多个版本，进行的性能测试效率低下的问题。本申请实施例提供一种多版本性能测试装置，用以解决现有技术中对大中型软件产品的多个版本，进行的性能测试效率低下的问题。本申请实施例提供的一种多版本性能测试方法，包括：获取待测版本的各性能指标的测试数据；当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。本申请实施例提供的一种多版本性能测试装置，包括：获取模块，用于获取待测版本的各性能指标的测试数据；测试模块，用于当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，以及用于确定所述该性能指标的基准值，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。本申请实施例通过上述技术方案，若已根据待测版本的历史版本确定出了各性能指标的基准值，则对于待测版本的各性能指标的测试数据，不用逐个进行人工分析，而是通过将该测试数据与对应的基准值进行匹配，即可以确定该待测版本的性能是否正常，因此，提高了测试效率。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的多版本性能测试过程；图2为在实际应用场景下，本申请实施例提供的多版本性能测试的详细过程；图3为本申请实施例提供的多版本性能测试装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的
实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请实施例提供的多版本性能测试过程，具体包括以下步骤：S101：获取待测版本的各性能指标的测试数据。S102：当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。本申请实施例提供的多版本性能测试的方法的执行主体可以是：用于对产品进行性能测试的服务器或终端。所述产品可以是软件产品、硬件产品、软件结合的产品、机械产品等等。所述服务器包括但不限于：个人计算机、大中型计算机、计算机集群等。所述终端包括但不限于：个人计算机、手机、平板电脑、智能手表、车载移动台等。所述的执行主体并不构成对本申请的限定，为了便于描述，本申请实施例均以执行主体是所述服务器为例进行说明。测试包括功能测试和性能测试两大类。对于产品的功能测试，在执行功能测试之前，已经有明确的标准来判断测试数据是否符合预期。例如，假定一个按键功能为从本地机器向服务器提交输入的信息，则对该功能进行测试时，可以在本地机器上输入信息并按下该按键，然后，验证服务器是否接收到该输入信息，在这种情况下，所述的测试数据为该输入信息，以及服务器实际接收到的信息，显然，当这两个信息相同时，可确定该按键功能正常。而对于产品的性能测试，由于根据测试场景的不同(测试场景的构成因素包括但不限于负载、使用的操作系统、传输线路、温度等等)，产品的性能表现可能不同，则在执行性能测试之前，可能无法确定产品的性能达到什么程度，也即，对于产品的性能是否正常，并没有明确的判断标准。仍以上里继续说明，假定继续测试该按键的性能指标“响应时间”，一般的，当在本地机器上输入的信息类型、信息量不同时，所获得的响应时间的测试数据也不同，可能为
0.01秒、也可能为0.1秒等。因此，对于执行性能测试后获得的测试数据，通常需要结合测试场景，人工分析这些测试数据是否正常，其中，所述性能指标可以是CPU利用率、磁盘利用率、网络利用率、内存消耗量等等。进一步的，对于大中型软件产品，会迭代开发以及发布多个版本，相应的，对各个版本也都要进行性能测试，由于其每个子系统和/或模块都有自己的性能指标，因此待测的性能指标总数量很多，而每开发一个新版本，都要对这些性能指标对应的测试数据重新进行人工分析，测试效率低下，成本高昂。基于上述问题，在本申请实施例中，在性能测试过程中，不一一地对待测产品的每个版本的测试数据都进行人工分析，而是仅根据已有的各性能指标的测试数据，确定各性能指标的基准值，进而，可以基于所述基准值，测试和评定待测版本的性能，可以提高效率，降低人工成本。例如，对于性能指标“CPU利用率”或“内存占用率”，其基准值可以是一个明确的百分比数值，如40％、60％、100％等。在本申请实施例中，可以基于待测版本的历史版本确定各性能指标的基准值(各基准值也可以合称为性能基线)。例如，基于初始版本的测试数据，或者，基于待测版本的上一个版本的测试数据，或者，基于多个历史版本的测试数据，等等，生成各性能指标的基准值。当然，也可不基于测试数据生成各性能指标的基准值，而是由产品的设计者和开发者直接指定各性能指标的基准值。当然，在实际应用中，由于产品在开发过程中在不断变化，为了提高各性能指标的基准值的可靠性和适用性，可以根据版本的变化对已确定的基准值进行调整或修正。在本申请实施例中，可以采用不同的具体实施方式，确定测试数据是否与对应的基准值匹配。例如，在选定坐标系下，将各性能指标的基准值和待测版本的各性能指标的测试数据分别视为一个集合，并将这两个集合向量化，判断测试数据的集合对应的向量与基准值的集合对应的向量之间的距离是否大于预设阈值，若是，则确定测试数据与基准值匹配，否则，确定测试数据与基准
值不匹配；也可以分别判断每个测试数据与对应的基准值之间的接近程度，若接近程度均大于预设阈值，则确定该测试数据与对应的基准值匹配，否则，确定该测试数据与对应的基准值不匹配，等等。通过上述方法，若已根据待测版本的历史版本确定出了各性能指标的基准值，则对于待测版本的各性能指标的测试数据，不用逐个进行人工分析，而是通过将该测试数据与对应的基准值进行匹配，即可以确定该待测版本的性能本文档来自技高网...

【技术保护点】
一种多版本性能测试方法，其特征在于，包括：获取待测版本的各性能指标的测试数据；当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。

【技术特征摘要】
1.一种多版本性能测试方法，其特征在于，包括：获取待测版本的各性能指标的测试数据；当确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配时，确定所述待测版本的性能正常，其中，所述该性能指标的基准值是根据所述待测版本的历史版本确定的。2.如权利要求1所述的方法，其特征在于，获取待测版本的各性能指标的测试数据，具体包括：通过执行预设的测试脚本，对所述待测版本进行测试，获取所述待测版本的各性能指标的测试数据。3.如权利要求2所述的方法，其特征在于，按照如下方法，确定所述该性能指标的基准值：通过执行所述测试脚本，对所述待测版本的历史版本进行测试，获取所述历史版本的该性能指标的测试数据；根据所述测试脚本中定义的测试场景，对所述历史版本的该性能指标的测试数据进行分析，确定出该性能指标的基准值。4.如权利要求1所述的方法，其特征在于，确定所述待测版本的每个性能指标的测试数据均与该性能指标的基准值匹配，具体包括：当确定所述待测版本的每个性能指标的测试数据与该性能指标的基准值之差的绝对值均不超过预设阈值时，确定所述待测版本的每个性能指标的测试数据均与该性能指标的...

【专利技术属性】
技术研发人员：唐云，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY