一种准确快速确定大数据分析系统的配置参数值域的方法技术方案

本发明专利技术涉及一种准确快速确定大数据分析系统的配置参数值域的方法，用于快速确定配置参数的值域。首先，根据大数据分析程序所赖于运行的硬件系统的配置确定这些程序配置参数取值的大致范围；第二，从参数的缺省值开始，以较大的步长游走，直至程序出错，记录出错前一次游走的配置参数值。第三，从前面记录的配置参数取值开始，以缩小的步长游走，直至程序出错，记录出错前一次游走的配置参数值。第四，再缩小步长，重复上一步的操作。直到步长小于设定的门槛值。将出错的前一次的配置参数值作为该配置参数的边界。该配置参数的边界。该配置参数的边界。

【技术实现步骤摘要】
一种准确快速确定大数据分析系统的配置参数值域的方法


[0001]本公开涉及大数据处理领域，具体涉及一种准确快速确定大数据分析系统的配置参数值域的方法。

技术介绍

[0002]大数据分析系统中有许多的数值型配置参数，有的参数配置程序运行所能使用的内存大小，有的参数配置一个任务所能使用的CPU核的个数，以及其他一些方面。例如，内存大数据分析引擎Apache Spark的配置参数spark.executor.memory规定每个执行器(executor)所能使用的内存的大小。
[0003]目前广泛使用的大数据分析引擎如Spark和Flink等都提供了配置参数的缺省值，例如上述参数的缺省值为1024MB，但没有提供这些参数的值域(即参数值可以配置的上限与下限)，值域的未知会为参数合理设定造成困难，不利于对配置优化，甚至会导致大数据分析程序的运行错误。

技术实现思路

[0004]本专利技术的目的在于解决下述问题：大数据分析引擎只为数值型配置参数提供了缺省值，而没有提供值域。本专利技术提供一种准确快速确定大数据分析系统的配置参数值域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种准确快速确定大数据分析系统的配置参数值域的方法，其特征在于，所述方法包括以下步骤：S100、获取要确定值域范围的配置参数以及所述配置参数的缺省值，将缺省值作为配置参数的当前值；S200、以配置参数的当前值为起点，判断是否停止搜索值域边界值；若不停止搜索值域边界值，执行步骤S300；否则，执行步骤S600；S300、用步长当前值更新配置参数的当前值，使系统在每一个配置参数的当前值下运行，直至找到使系统出错的配置参数值；S400、记录系统出错的前一次的配置参数值为配置参数的当前值；S500、将步长当前值乘以一个大于0小于1的数，将其结果作为新的步长当前值，返回步骤S200；S600、将配置参数的当前值作为值域的一个边界。2.根据权利要求1所述的方法，其特征在于，所述S300包括下述步骤：S301、将配置参数的当前值加上步长当前值，将...

【专利技术属性】
技术研发人员：辛锦瀚，喻之斌，陈超，黄世鑫，王峥，杨永魁，郭伟钰，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：