具备自主学习能力的产品性能评价系统及方法技术方案

本发明专利技术涉及软件测试技术领域，具体涉及具备自主学习能力的产品性能评价系统及方法。所述系统包括：监视模块，配置用于监视软件的代码是否发生改变；版本标识生成模块，配置用于当所述代码改变时，生成与所述代码相关的版本标识，测试场景部署模块，配置用于部署第一测试场景和第二测试场景；预测模块，配置用于基于部署的第一测试场景和第二测试场景，以及软件代码发生改变的部分占所有代码的百分比，基于预设的测试模型，生成多个预测测试结果。其具备自动识别代码改变，自动进行代码测试，以及自动校正测试结果的功能，具有智能化程度高和测试结果准确的优点。

【技术实现步骤摘要】
具备自主学习能力的产品性能评价系统及方法
本专利技术属于软件测试
，具体涉及具备自主学习能力的产品性能评价系统及方法。
技术介绍
软件测试是使用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别。从是否关心软件内部结构和具体实现的角度划分，测试方法主要有白盒测试和黑盒测试。白盒测试方法主要有代码检査法、静态结构分析法、静态质量度量法、逻辑覆盖法、基本路径测试法、域测试、符号测试、路径覆盖和程序变异。黑盒测试方法主要包括等价类划分法、边界值分析法、错误推测法、因果图法、判定表驱动法、正交试验设计法、功能图法、场景法等。专利号为CN201310077737.9A的专利公开了一种移动终端上的应用软件测试方法、装置及系统，其中，所述方法包括：接收客户端上传的待测试应用软件的安装包，以及待测试的目标移动终端的标识；将所述安装包发送到所述目标移动终端，并指示所述目标移动终端通过所述安装包安装所述应用软件；指示所述目标移动终端启动所述应用软件，并遍历触发所述应用软件中的各个控件，每次触发控件得到显示界面时，对显示界面进行截图；将在目标移动终端上截取到的图片返回到客户端。通过本申请，能够更高效地实现在移动终端上的应用软件测试。其虽然实现了应用软件在目标移动终端的自动化测试，但其测试过程准确率低，且不能实现版本变更后的自动测试。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供具备自主学习能力的产品性能评价系统及方法，其具备自动识别代码改变，自动进行代码测试，以及自动校正测试结果的功能，具有智能化程度高和测试结果准确的优点。为达到上述目的，本专利技术的技术方案是这样实现的：具备自主学习能力的产品性能评价系统，所述系统包括：监视模块，配置用于监视软件的代码是否发生改变；版本标识生成模块，配置用于当所述代码改变时，生成与所述代码相关的版本标识，测试场景部署模块，配置用于部署第一测试场景和第二测试场景；预测模块，配置用于基于部署的第一测试场景和第二测试场景，以及软件代码发生改变的部分占所有代码的百分比，基于预设的测试模型，生成多个预测测试结果；测试模块，配置用于在所述第一测试场景运行与所述版本标识相关联的代码，以及在所述第二测试场景中运行与先前版本标识相关联的代码，以对所述代码进行对比测试，得到多个对比测试结果，将对比测试结果与预测测试结果进行差异比对，若两者的差异在设定的阈值范围内，则将测试结果作为最终的结果，若两者的差异超过设定的阈值范围，则调整测试模块的参数，直到测试模块生成的测试结果与预测测试结果的差异在设定的阈值范围内。进一步的，所述测试模块包括以下多项模块中的至少一项：功能对比测试模块，被配置用于对所述代码进行功能对比测试；性能对比测试模块，被配置用于对所述代码进行性能对比测试；以及压力对比测试模块，被配置用于对所述代码进行压力对比测试。进一步的试模块中的功能对比测试模块、性能对比测试模块和压力对比测试模块均包括以下模块：权重计算模块、隶属度计算模块和综合分析模块；所述软件评价设定模块，配置用于设定软件性能的评价对象与评价因子集，以及设定评价因子的评价指标；所述权重计算模块，配置用于计算评价因子的权重；所述隶属度计算模块，配置用于计算评价对象对评价因子的隶属度；所述综合分析模块与权重计算模块与隶属度计算模块连接，用于根据所述权重和隶属度得到评价结果。进一步的，所述综合分析模块具体用于根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。进一步的，所述测试模块将对比测试结果与预测测试结果进行差异比对的方法包括：采用如下公式，计算测试结果与预测测试结果的差异，即得到R2得分，得分越高，差异越小：其中，y为测试结果，为预测测试结果，为测试结果的平均值，为预测测试结果的平均值，nsamples为测试结果和预测测试结果的个数中的较小值。具备自主学习能力的产品性能评价方法，所述方法执行以下步骤：步骤1：监视软件的代码是否发生改变；步骤2：当所述代码改变时，生成与所述代码相关的版本标识；步骤3：部署第一测试场景和第二测试场景；步骤4：基于部署的第一测试场景和第二测试场景，以及软件代码发生改变的部分占所有代码的百分比，基于预设的测试模型，生成多个预测测试结果；步骤5：在所述第一测试场景运行与所述版本标识相关联的代码，以及在所述第二测试场景中运行与先前版本标识相关联的代码，以对所述代码进行对比测试，得到多个对比测试结果，将对比测试结果与预测测试结果进行差异比对，若两者的差异在设定的阈值范围内，则将测试结果作为最终的结果，若两者的差异超过设定的阈值范围，则调整进行对比测试的参数，直到生成的测试结果与预测测试结果的差异在设定的阈值范围内。进一步的，所述将对比测试结果与预测测试结果进行差异比对的方法包括：采用如下公式，计算测试结果与预测测试结果的差异，即得到R2得分，得分越高，差异越小：其中，y为测试结果，为预测测试结果，为测试结果的平均值，为预测测试结果的平均值，nsamples为测试结果和预测测试结果的个数中的较小值。进一步的，所述预测测试结果和测试结果至少包括以下结果中的一项：功能对比测试结果，该测试结果评价代码的功能是否出现异常；性能对比测试结果，该测试结果评价代码的性能是否满足要求；压力对比测试结果，该测试结果评价代码的稳定性是否满足要求。进一步的，步骤1在监视软件的代码是否发生改变时，还将统计软件中改变的代码站所有代码的百分比。进一步的，所述步骤4中预设的预测模型为一个神经网络模型，该模型基于历史数据进行训练后，能够对代码进行预测测试，生成预测测试结果。本专利技术的具备自主学习能力的产品性能评价系统及方法，具有如下有益效果：其具备自动识别代码改变，自动进行代码测试，以及自动校正测试结果的功能，具有智能化程度高和测试结果准确的优点。主要通过以下过程实现：1.代码改变的自动识别和测试场景的构建：本专利技术能够自动识别代码的改变，从而开启测试流程；自动化程度高；2.测试的自动化：本专利技术在测试过程中，自动进行测试，同时，测试能够多方面进行，至少包括：对所述代码进行功能对比测试；对所述代码进行性能对比测试；对所述代码进行压力对比测试；3.测试结果的校正：本专利技术针对软件进行测试过程中，首先基于历史数据训练了一个预测模型，该预测模型能够预测软件测试的结果，得到一个预测测试结果；同时，测试模块在所述第一测试场景运行与所述版本标识相关联的代码，以及在所述第二测试场景中运行与先前版本标识相关联的代码，以对所述代码进行对比测试，得到多个对比测试结果，将对比测试结果与预测测试结果进行差异比对，若两者的差异在设定的阈值范围内，则将测试结果作为最终的结果，若两者的差异超过设定的阈值范围，则调整测试模块的参数，直到测试模块生成的测试结果与预测测试结果的差异在设定的阈值范围内；这样得到的结果更加准本文档来自技高网...

【技术保护点】
1.具备自主学习能力的产品性能评价系统，其特征在于，所述系统包括：监视模块，配置用于监视软件的代码是否发生改变；版本标识生成模块，配置用于当所述代码改变时，生成与所述代码相关的版本标识，测试场景部署模块，配置用于部署第一测试场景和第二测试场景；预测模块，配置用于基于部署的第一测试场景和第二测试场景，以及软件代码发生改变的部分占所有代码的百分比，基于预设的测试模型，生成多个预测测试结果；测试模块，配置用于在所述第一测试场景运行与所述版本标识相关联的代码，以及在所述第二测试场景中运行与先前版本标识相关联的代码，以对所述代码进行对比测试，得到多个对比测试结果，将对比测试结果与预测测试结果进行差异比对，若两者的差异在设定的阈值范围内，则将测试结果作为最终的结果，若两者的差异超过设定的阈值范围，则调整测试模块的参数，直到测试模块生成的测试结果与预测测试结果的差异在设定的阈值范围内。/n

【技术特征摘要】
1.具备自主学习能力的产品性能评价系统，其特征在于，所述系统包括：监视模块，配置用于监视软件的代码是否发生改变；版本标识生成模块，配置用于当所述代码改变时，生成与所述代码相关的版本标识，测试场景部署模块，配置用于部署第一测试场景和第二测试场景；预测模块，配置用于基于部署的第一测试场景和第二测试场景，以及软件代码发生改变的部分占所有代码的百分比，基于预设的测试模型，生成多个预测测试结果；测试模块，配置用于在所述第一测试场景运行与所述版本标识相关联的代码，以及在所述第二测试场景中运行与先前版本标识相关联的代码，以对所述代码进行对比测试，得到多个对比测试结果，将对比测试结果与预测测试结果进行差异比对，若两者的差异在设定的阈值范围内，则将测试结果作为最终的结果，若两者的差异超过设定的阈值范围，则调整测试模块的参数，直到测试模块生成的测试结果与预测测试结果的差异在设定的阈值范围内。


2.如权利要求1所述的系统，其特征在于，所述测试模块包括以下多项模块中的至少一项：功能对比测试模块，被配置用于对所述代码进行功能对比测试；性能对比测试模块，被配置用于对所述代码进行性能对比测试；以及压力对比测试模块，被配置用于对所述代码进行压力对比测试。


3.如权利要求2所述的系统，其特征在于，所述测试模块中的功能对比测试模块、性能对比测试模块和压力对比测试模块均包括以下模块：权重计算模块、隶属度计算模块和综合分析模块；所述软件评价设定模块，配置用于设定软件性能的评价对象与评价因子集，以及设定评价因子的评价指标；所述权重计算模块，配置用于计算评价因子的权重；所述隶属度计算模块，配置用于计算评价对象对评价因子的隶属度；所述综合分析模块与权重计算模块与隶属度计算模块连接，用于根据所述权重和隶属度得到评价结果。


4.如权利要求3所述的系统，其特征在于，所述综合分析模块具体用于根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。


5.如权利要求4所述的系统，其特征在于，所述测试模块将对比测试结果与预测测试结果进行差异比对的方法包括：采用如下公式，计算测试结果与预测测试结果的差异，即得到...

【专利技术属性】
技术研发人员：陈丽园，
申请(专利权)人：上海嗨酷强供应链信息技术有限公司，
类型：发明
国别省市：上海;31