测试数据处理系统的方法和装置制造方法及图纸

本申请提供了一种测试数据处理系统的方法和装置，属于大数据处理领域。所述方法包括：在对待测试数据处理系统进行测试时，可以确定待测试数据处理系统中的目标应用程序，然后获取目标应用程序的异常规则，基于该异常规则，生成至少一组分布异常数据，然后对于每组分布异常数据，根据目标应用程序对应的多个预设配置参数中各配置参数的取值范围，控制目标应用程序对分布异常数据进行处理，得到待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的各预设配置参数的目标取值，然后基于分布异常数据的分布和各预设配置参数的目标取值，生成测试报告。采用本申请，提供了一种测试数据处理系统的方法。

【技术实现步骤摘要】
测试数据处理系统的方法和装置
本申请涉及大数据处理领域，特别涉及一种测试数据处理系统的方法和装置。
技术介绍
近年来，随着互联网、电子商务以及物联网等技术的快速发展，数据的产生速度呈现爆炸性的增长方式的趋势。这些数据具有产生速度快、产生规模大等特点，为了挖掘这些海量数据背后隐藏的巨大商业价值，许多数据处理系统应用而生，例如，Hadoop、Spark、Storm、Flink等，这些数据处理系统分别偏重于不同的处理场景。数据处理系统在处理数据时，经常会出现内存溢出、I/O异常、任务无响应等错误，这些错误会直接导致数据处理系统的任务执行失败。相关技术中，一般是数据处理系统上线后，数据处理系统出现问题，才会对数据处理系统进行分析诊断。这样，由于只能在数据处理系统上线之后，发生问题才会解决问题，然而发生问题后再解决问题，会导致任务处理严重延迟，所以急需提供一种提前测试数据处理系统的方法。
技术实现思路
为了解决相关技术的问题，本专利技术实施例提供了一种测试数据处理系统的方法和装置。所述技术方案如下：第一方面，提供了一种测试数据处理系统的方法，所述方法包括：确定待测试数据处理系统中的目标应用程序；根据所述目标应用程序的异常原则，生成所述目标应用程序对应的至少一组分布异常数据；对于每组分布异常数据，根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值；根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告。本专利技术实施例所示的方案，在对待测试数据处理系统进行测试时，可以确定待测试数据处理系统中的目标应用程序，然后获取目标应用程序的异常规则，基于该异常规则，生成至少一组分布异常数据，然后对于每组分布异常数据，根据目标应用程序对应的多个预设配置参数中各配置参数的取值范围，控制目标应用程序对分布异常数据进行处理，得到待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的各预设配置参数的目标取值，然后基于分布异常数据的分布和各预设配置参数的目标取值，生成测试报告。后续技术人员可以基于测试报告，对该数据处理系统进行修复，使其在运行分布异常数据时，也可以正常运行。在一种可能的实施方式中，所述目标应用程序为SQL应用程序、MLib应用程序和Graph应用程序中的一个或多个。在一种可能的实施方式中，所述多个预设配置参数之间相互独立；所述根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值，包括：根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，确定所述各预设配置参数的取值；根据所述各预设配置参数的取值和预设的贪心算法，控制所述目标程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值。所述预设条件为所述目标应用程序运行异常时所得到的性能值，或者所述贪心算法运行结束时，得到的最差性能值。本专利技术实施例所示的方案，多个预设配置参数相互独立，假设有n个预设配置参数，第i个预设配置参数的mi个取值与预设性能参数的性能值正相关或负相关。服务器可以根据目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，确定各预设配置参数的取值为取值范围对应的端点值，也就是说每个预设配置参数仅有两个取值。例如，某个预设配置参数的取值范围为1～10，该预设配置参数的取值为1和10。然后服务器可以为目标应用程序选定一组各预设配置参数的取值，然后将分布异常数据输入的目标应用程序中，使目标应用程序处理分布异常数据，得到输出结果，并统计在处理分布异常数据过程中，预设性能参数的性能值，然后可以调整第一个预设配置参数的取值，其余预设配置参数的取值不变，然后重新使用目标应用程序处理异常分布数据，得到输出结果，并统计在处理分布异常数据的过程中，预设性能参数的性能值。如果第二次的性能值比上次差(如CPU占用率比上次的高)，则将第一个预设配置参数的第二次的取值作为接下来的测试过程中的固定配置，也就是后续均使用第一个预设配置参数的第二次的取值，如果这次的性能值比上次的好，则将第一个预设配置参数上次的取值，确定为后续的固定配置。并调整第二个预设配置参数的取值，其余预设配置参数的取值不改变，重新使用目标应用程序处理异常分布数据，得到输出结果，并统计在处理分布异常数据的过程中，预设性能参数的性能值，如果这次的性能值比第二次的差，则将第二个预设配置参数这次的取值，确定为后续的固定配置，如果这次的性能值比上次的好，则将第二个预设配置参数上次的取值，确定为后续的固定配置。依上述类推，直到目标应用程序异常时，使用的一组预设配置参数的取值为目标取值。或者，使用贪心算法，将预设配置参数的组合都全部使用时，将最终得到的最差性能值所使用的一组预设配置参数的取值，确定为目标取值。在一种可能的实施方式中，所述多个预设配置参数之间非相互独立；所述根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值，包括：根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围和所述各预设配置参数的数学函数，确定所述各预设配置参数的取值；根据所述各预设配置参数的取值，确定所述目标应用程序在对所述分布异常数据进行处理时，所述待测试数据处理系统的预设性能参数的性能值；将确定出的性能值中满足预设条件的性能值所对应的所述各预设配置参数的取值，确定为所述各预设配置参数的目标取值。本专利技术实施例所示的方案，服务器可以获取多个预设配置参数中各预设配置参数的取值范围和各预设配置参数的函数表达式，然后使用该取值范围和函数表达式，确定各预设配置参数的所有取值。然后服务器可以将不同组合的各预设配置参数的取值，作为目标应用程序的配置参数，处理分布异常数据，并统计每次得到的预设性能参数的性能值。然后服务器将统计到的性能值中满足预设条件的性能值所使用的各预设配置参数的取值，确定为各预设配置参数对应的目标取值。在一种可能的实施方式中，根据所述各预设配置参数的取值和预设的统计次数，确定所述目标应用程序在对所述分布异常数据进行处理时，所述待测试数据处理系统的预设性能参数的性能值。在一种可能的实施方式中，所述预设性能参数为一个；在确定出的性能值中选择最差性能值；将所述最差性能值所对应的所述各预设配置参数的取值，确定为各预设配置参数的目标取值。在一种可能的实施方式中，所述预设性能参数为多个；对确定出的性能值中各预设性能参数的性能值进行加权处理，将加权值最大的预设性能参数的性能值所对应的所述各预设配置参数的取值，确定为所述各预设配置参数的目标取值。本专利技术实施例所示的方案，服务器对于一组预设性能参数的取值，服务器使用本文档来自技高网...

【技术保护点】
1.一种测试数据处理系统的方法，其特征在于，所述方法包括：确定待测试数据处理系统中的目标应用程序；根据所述目标应用程序的异常原则，生成所述目标应用程序对应的至少一组分布异常数据；对于每组分布异常数据，根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值；根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告。

【技术特征摘要】
1.一种测试数据处理系统的方法，其特征在于，所述方法包括：确定待测试数据处理系统中的目标应用程序；根据所述目标应用程序的异常原则，生成所述目标应用程序对应的至少一组分布异常数据；对于每组分布异常数据，根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值；根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告。2.根据权利要求1所述的方法，其特征在于，所述目标应用程序为SQL应用程序、MLib应用程序和Graph应用程序中的一个或多个。3.根据权利要求1所述的方法，其特征在于，所述多个预设配置参数之间相互独立；所述根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值，包括：根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，确定所述各预设配置参数的取值；根据所述各预设配置参数的取值和预设的贪心算法，控制所述目标程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值。4.根据权利要求3所述的方法，其特征在于，所述预设条件为所述目标应用程序运行异常时所得到的性能值，或者所述贪心算法运行结束时，得到的最差性能值。5.根据权利要求1所述的方法，其特征在于，所述多个预设配置参数之间非相互独立；所述根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值，包括：根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围和所述各预设配置参数的数学函数，确定所述各预设配置参数的取值；根据所述各预设配置参数的取值，确定所述目标应用程序在对所述分布异常数据进行处理时，所述待测试数据处理系统的预设性能参数的性能值；将确定出的性能值中满足预设条件的性能值所对应的所述各预设配置参数的取值，确定为所述各预设配置参数的目标取值。6.根据权利要求5所述的方法，其特征在于，所述根据所述各预设配置参数的取值，确定所述目标应用程序在对所述分布异常数据进行处理时，所述待测试数据处理系统的预设性能参数的性能值，包括：根据所述各预设配置参数的取值和预设的统计次数，确定所述目标应用程序在对所述分布异常数据进行处理时，所述待测试数据处理系统的预设性能参数的性能值。7.根据权利要求5所述的方法，其特征在于，所述预设性能参数为一个；所述将确定出的性能值中满足预设条件的性能值所对应的所述各预设配置参数的取值，确定为各预设配置参数的目标取值，包括：在确定出的性能值中选择最差性能值；将所述最差性能值所对应的所述各预设配置参数的取值，确定为各预设配置参数的目标取值。8.根据权利要求5所述的方法，其特征在于，所述预设性能参数为多个；所述将确定出的性能值中满足预设条件的性能值所对应的所述各预设配置参数的取值，确定为所述各预设配置参数的目标取值，包括：对确定出的性能值中各预设性能参数的性能值进行加权处理，将加权值最大的预设性能参数的性能值所对应的所述各预设配置参数的取值，确定为所述各预设配置参数的目标取值。9.根据权利要求1所述的方法，其特征在于，所述根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告，包括：根据所述分布异常数据满足的函数分布、所述各预设配置参数的目标取值和所述目标取值对应的所述待测试数据处理系统的预设性能参数的性能值，生成所述待测试数据处理系统的测试报告。10.一种测试数据处理系统的装置，其特征在于，所述装置包括：确定模块，用于确定待测试数据处理系统中的目标应用程序；数据生成模块，用于根据所述目标应用程序的异常原则，生成所述目标应用程序对应的至少一组分布异常数据；处理模块，用于对于每组分布异常数据，根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，控制所述目标应用程序对所述分布异常数据进行处理，得到所述待测试数据处理系统的预设性能参数的性能值满足预设条件时所对应的所述各预设配置参数的目标取值；根据所述分布异常数据满足的函数分布和所述各预设配置参数的目标取值，生成所述待测试数据处理系统的测试报告。11.根据权利要求10所述的装置，其特征在于，所述目标应用程序为SQL应用程序、MLib应用程序和Graph应用程序中的一个或多个。12.根据权利要求10所述的装置，其特征在于，所述多个预设配置参数之间相互独立；所述处理模块，用于：根据所述目标应用程序对应的多个预设配置参数中各预设配置参数的取值范围，确定所述各预设配置参数的取值；根据所述各预设配置参数的取值和预设的贪心算法，控...

【专利技术属性】
技术研发人员：刘新春，时金魁，许利杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44