性能测试的方法及装置制造方法及图纸

本申请公开了性能测试的方法和装置，该方法包括步骤：对性能测试参数的统计量进行参数估计，并获得估计值；判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。本申请能够提高测试效率。

Method and apparatus for performance testing

The invention discloses a method and a device for performance testing, the method comprises the steps of: performance testing parameters of statistic parameter estimation, and obtain the estimation value; estimate the value obtained is consistent with the preset conditions, according to the judgment result to determine whether the next test, the preset conditions according to the preset range test parameters set. This application can improve test efficiency.

【技术实现步骤摘要】
性能测试的方法及装置
本申请涉及设备的性能测试技术，尤其涉及设备性能测试的方法和装置。
技术介绍
目前对于设备的性能测试主要是对响应时长的测试，但是响应时长的测试结果容易受到操作系统自身的波动、测试工具采样和测试执行方式等原因的影响，造成测试数据的波动性。现有技术中，为了避免测试数据的波动性，通常需要进行大量的测试次数来排除受影响的测试数据，以得到期望的测试结果。有的测试场景可能需要的测试次数大概需要500次才能得到期望的测试结果，因此测试效率很低。
技术实现思路
本申请提供设备性能测试的方法和装置，能够提高测试效率。根据本申请实施例的第一方面，提供一种性能测试的方法，该方法包括步骤：对性能测试参数的统计量进行参数估计，并获得估计值；判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。根据本申请实施例的第二方面，提供一种性能测试的装置，包括：计算模块，用于对性能测试参数的统计量进行参数估计，并获得估计值；判断模块，用于判断获得的估计值是否符合预设条件；并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。申请人经过大量的实验，发现性能测试参数的分布规律，随之利用统计学的原理对性能测试参数进行参数估计，将估计值与用户设定的停止测试的条件对比，每次测试后均可以判断是否需要进行下一轮测试，在达到用户期望的测试要求后即可停止测试，也就是可以找到停止测试的最佳测试次数，因此既可以保证排除受影响的测试数据，又可以降低测试成本，提高测试效率。附图说明图1为本申请实施例中性能测试的方法的流程图；图2为本申请应用实例的流程图；图3a、图3b为本申请应用实例的测试结果展示；图4为本申请性能测试的装置的硬件架构图；图5为本申请性能测试的装置的逻辑框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。本申请可以做到对测试数据的性能测试结果的累积过程进行监控，规避测试波动性的影响；并能够根据用户设定的精度的要求，实时监控是否达到精度要求，使用户能够及时决定结束测试的时机。本申请承载测试数据的设备可以是多种设备，例如手持设备、车载设备、可穿戴设备、电视设备、计算设备或其它具有处理能力的设备等等。请参加图1，S101，对性能测试参数的统计量进行参数估计，并获得估计值；S102，判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，预设条件可根据性能测试参数的预设波动幅度设定。根据统计学的定义，统计量是指通过各个样本所构造的样本函数。申请人经过大量的实验研究发现，性能测试参数的统计量可以符合某种统计分布的规律，利用这种统计规律可以分析出性能测试参数的波动性的变化情况，例如，对于所测试的测试场景在每次测试中的响应时长，可以是相互独立的一个个样本，每一次测试的响应时长的均值是趋于正态分布的；再例如，对于测定误差(即某次测量时测试性能参数受随机因素的影响，偏离正常状态下测试性能参数的差值)，在样本达到一定数量时，可以满足正态分布。因此作为一个例子，可以将性能测试参数作为样本，将多次测试获得的性能测试参数的总体构成某种函数作为统计量来进行参数估计。以响应时长作为性能测试参数为例，可通过下述过程获得性能测试参数：对于具有动态可视画面的测试场景，例如对启动某个应用的性能测试、设备开关机的性能测试、电话接通的性能测试等等，可以抓取测试场景的多张图片，分析图片的变化过程来获得测试场景的响应时长。抓取测试场景的图片的方式可以是利用摄像头等拍摄工具以一定频率对设备拍照，并将拍摄工具采集的数据保存成图片，并记录每张图片的采集时间。拍摄频率高于每帧图片的变化的频率，例如，手机的刷新频率如果是60fps(帧/秒)，可以以120fps(帧/秒)的帧速率进行拍摄。可以分析所保存的图片的变化过程，以确定响应时长，例如，可以确定图片开始变化的时间以及结束变化的时间，将算出的时间间隔作为该测试场景一次测试的响应时长。作为例子，也可以抓取测试脚本中的关键字，通过关键字来确定特定测试场景下一次测试的响应时长。例如，当测试脚本在执行时，可以打印执行脚本的日志，以“LOG”作为关键字查找测试脚本开始运行和结束运行的时间，从而获得一次测试的响应时长。容易理解，所列举出示例旨在于更加直观的理解本申请的技术方案，而不局限于所列举示例的实现方式，除响应时长可作为性能测试参数外，并不排除其他的性能测试参数，例如代表CPU性能数据的各个进程的占用数据等参数。作为例子，由于多次测试的性能测试参数的总体的均值在某些场合中符合正态分布，因此，S101中可以将某次测试完成后，当前累积的每次测试的性能测试参数的均值作为性能测试参数的统计量，并利用置信区间估计进行参数估计，将置信区间估计所获得的置信区间作为估计值，另外，也可以将获得的置信区间作为中间值，获得其他值(例如波动率)作为估计值。置信区间(Confidenceinterval)是指由样本的统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，这个可信程度为置信度。本申请中，置信区间的置信度可以由用户设定，用户通过设定置信度来决定需要花费的测试成本，如果该测试场景的要求精度比较高，那么可以把置信度设置设置的高一些，使置信区间的宽度较大；如果精度低，则置信度的值可以下调，置信区间就可以减少范围，这样可以帮助用户根据需要来获得所需要的数据。例如，一个例子中，可以将置信度设置为95％，也可以将置信度设置为90％。举例来说，获得当前累积的每次测试的性能测试参数的统计量可以通过以下方式。如果针对某个测试场景，在第一次测试时的响应时长为t1，第二次测试时的响应时长为t2，第三次测试时的响应时长为t3，第四次测试时的响应时长为t4；则当第一次测试完成后，当前累积的性能测试参数的统计量为t1；当第二次测试完成后，当前累积的性能测试参数的统计量为t1、t2的和的平均值。以此类推，当第四次测试完成本文档来自技高网...

【技术保护点】
一种性能测试的方法，其特征在于，该方法包括步骤：对性能测试参数的统计量进行参数估计，并获得估计值；判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。

【技术特征摘要】
1.一种性能测试的方法，其特征在于，该方法包括步骤：对性能测试参数的统计量进行参数估计，并获得估计值；判断获得的估计值是否符合预设条件，并根据判断结果确定是否进行下一次测试，所述预设条件根据性能测试参数的预设波动幅度设定。2.根据权利要求1所述的方法，其特征在于，所述性能测试参数的统计量为当前累积的每次测试的性能测试参数的均值，所述参数估计为置信区间估计。3.根据权利要求2所述的方法，其特征在于，获得估计值包括：根据预定的置信度获得所述统计量的置信区间。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将测试次数与预设次数对比，确定是否通过所述统计量的T分布或标准正态分布计算所述统计量的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。5.根据权利要求3所述的方法，其特征在于：所述方法还包括：当测试次数小于预设次数时，计算所述统计量的T分布的置信区间；或当测试次数不小于预设次数时，计算所述统计量的标准正态分布的置信区间，所述预定次数用于区分所述性能测试参数属于小样本或大样本。6.根据权利要求1所述的方法，其特征在于，所述性能测试参数包括测试场景在一次测试中的响应时长。7.根据权利要求6所述的方法，其特征在于，获取所述响应时长的过程包括：将所述测试场景的采集数据保存成图片；根据所保存的图片的变化规律确定所述测试场景在一次测试中的响应时长。8.根据权利要求6所述的方法，其特征在于，获取所述响应时长的过程包括：查找所述测试场景的采集数据的预定关键字；根据所述预定关键字确定所述测试场景在一次测试中的响应时长。9.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述置信区间获得所述性能测试参数的波动率。10.根据权力要求1所述的方法，其特征在于，所述性能测试参数的预设波动幅度为所述性能测试参数的预设波动率，和/或所述性能测试参数的预设置信区间宽度；所述估计值为置信区间或波动率。11.一种性能测试...

【专利技术属性】
技术研发人员：王楠，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY