一种离线计算引擎的测试方法和系统技术方案

本发明专利技术公开了一种离线计算引擎的测试方法和系统，该方法包括：选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；计算并获取测试用例请求的结果数据；所述结果数据为测试结果；显示所述测试结果。该方法具有评价特定查询的决策支持能力；可以应用到多领域场景，对离线计算引擎在性能、功能和稳定性三个大方向进行设计并实现测试用例；涵盖功能完整性、可靠性和安全性的测试用例库，能够有效提高测试的效率。

【技术实现步骤摘要】
一种离线计算引擎的测试方法和系统
本专利技术涉及数据处理
，特别涉及一种离线计算引擎的测试方法和系统。
技术介绍
数据是计算的基础，数据处理广泛存在于各类计算机应用之中，是计算机应用的一个重要功能和组成部分。但是目前对于数据处理的研究大多集中在数据处理的具体方法和技术上，尚缺乏系统化、通用化的数据处理方法。离线计算引擎是为运行离线计算的核心组件，用于提供各种运行所需的各种工具。离线计算可在大量数据上进行复杂的批量运算，数据在计算之前已经完全到位，不会发生变化，此外还能够方便地查询批量计算的结果。所以离线计算引擎受到了广大开发人员的关注。现在，为了测试离线计算引擎的性能、功能和稳定性，常用的技术手段往往是为每个场景应用配置不同的离线计算引擎。可以理解为，如果想要更改所要测试的离线计算引擎，就需要为新的离线计算引擎重新设计和编写测试代码。现在市面上已有的离线计算引擎测试方法，所采用的测试方法比较单一，针对不同的应用场景，需要多次重复改变测试代码，工作量比较大，从而导致对离线计算引擎进行测试的效率比较低。而且新接手工作的测试人员需要学习新的计算引擎框架，耗费学习成本大，延长了工作周期。以上就是离线计算引擎测试面临的主要问题，这些问题导致离线计算引擎测试项目实施周期较长，学习成本较高。针对上述问题，目前还没有提出有效的解决方案。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种离线计算引擎的测试方法和系统，评价特定查询的决策支持能力；可以应用到多领域场景，对离线计算引擎在性能、功能和稳定性三个大方向进行设计并实现测试用例；涵盖功能完整性、可靠性和安全性的测试用例库，能够有效提高测试的效率。第一方面，本专利技术实施例提供一种离线计算引擎的测试方法，包括：选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；计算并获取测试用例请求的结果数据；所述结果数据为测试结果；显示所述测试结果。进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。第二方面，本专利技术实施例还提供一种离线计算引擎测试系统，包括：选择测试方向模块，用于选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；添加测试用例模块，用于在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；测试参数获取模块，用于确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；执行测试用例模块，用于调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；计算测试结果模块，用于计算并获取测试用例请求的结果数据；所述结果数据为测试结果；测试结果显示模块，用于显示所述测试结果。进一步地，所述执行测试用例模块，具体用于在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。进一步地，所述执行测试用例模块，具体还用于在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。进一步地，所述执行测试用例模块，具体还用于在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。本专利技术实施例提供的上述技术方案的有益效果至少包括：本专利技术实施例提供的一种离线计算引擎的测试方法：(1)与最接近的使用流计算引擎分析实时数据技术方案不同，本专利技术的离线计算引擎可在大量数据上进行复杂的批量运算，并且由于是直接对整批数据进行分析计算，因此计算出的结果更加接近最优结果；(2)本专利技术可对离线计算引擎的测试需求方面进行细分，对于侧重于离线计算引擎的性能、功能和稳定性不同方面测试都可满足，测试结果可以更全面更准确的反映出所述离线计算引擎的计算能力。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例提供的离线计算引擎测试方法流程图；图2为本专利技术实施例提供的三大测试方向包含的测试项目图；图3为本专利技术实施例提供的内存的两个进程的交换示意图；图4为本专利技术实施例提供的数据分析流程图；图5为本专利技术实施例提供的测试流图；图6为应用场景实施例所需文件目录的示意图；图7为本专利技术实施例提供的离线计算引擎测试系统的框图；图8为本专利技术实施例提供的离线计算引擎测试系统的整体流程图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。为了便于准确理解本专利技术提供的离线计算引擎的测试方法，特对一些相关术语进行解释：1)离线计算：在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算；2)运行时间：处于运行状态的时间；3)吞吐量：指在单位时间内处理信息的量；4)数值转换：指将不同数据类型的数据进行相应转换；5)数据缓存：指在硬盘内部的高速存储器，在电脑中就像一块缓冲器一样将一些数据暂时性的保存起来以供读取和再读取。对于大数据缓存的硬盘在存取零散文件时具有很大的优势；6)物理内存：是相对于虚拟内存而言的。物理内存指通过物理内存条而获得的内存空间，而虚拟内存则是指将硬盘的一块区域划分作为内存；7)交换内存：进程必须在内存中以便执行。不过,进程可以暂时从内存交换到备份存储,当本文档来自技高网...

【技术保护点】
1.一种离线计算引擎的测试方法，其特征在于，包括：/n选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；/n在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；/n确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；/n调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；/n计算并获取测试用例请求的结果数据；所述结果数据为测试结果；/n显示所述测试结果。/n

【技术特征摘要】
1.一种离线计算引擎的测试方法，其特征在于，包括：
选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；
在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；
确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；
调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；
计算并获取测试用例请求的结果数据；所述结果数据为测试结果；
显示所述测试结果。


2.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：
在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。


3.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：
在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。


4.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：
在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。

【专利技术属性】
技术研发人员：包铁，朱蓓蓓，彭涛，张雪松，刘露，王上，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22