Spark运行参数的确定方法、装置、设备和存储介质制造方法及图纸

本申请适用于计算机技术领域，提供了一种Spark运行参数的确定方法、装置、设备和存储介质，该方法包括：获取第一运行参数集和第二运行参数集，第一运行参数集和第二运行参数集的获取方式不同；基于第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定第一模型中的目标模型，第一模型包括多个数据模型；基于第二运行参数集，将数据大小和任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。该方法首先基于第一运行参数集确定与任务类型匹配的目标模型，再基于第二运行参数集确定与任务类型匹配的目标运行参数，可针对不同任务类型的任务数据确定最优运行参数，进而提高了Spark运行参数的精确度。

【技术实现步骤摘要】
Spark运行参数的确定方法、装置、设备和存储介质
本申请属于计算机
，尤其涉及一种Spark运行参数的确定方法、装置、设备和存储介质。
技术介绍
ApacheSpark(简称为Spark)是专为大规模数据处理而设计的快速通用的计算引擎，近年来，随着数据规模的指数式增长，Spark已经成为工业界数据挖掘处理的主要手段之一。据统计，Spark的运行参数多达几百个，而运行参数的设置对Spark的运行效率具有至关重要的影响，若由人工对这些运行参数进行设置，无疑是费时费力的。传统技术中，通常采用一定的训练集训练得到一个网络模型，再使用该网络模型通过遗传算法确定Spark的运行参数。然而，传统技术中所确定的运行参数精确度并不高。
技术实现思路
本申请实施例提供了一种Spark运行参数的确定方法、装置、设备和存储介质，可以解决传统技术中所确定的运行参数精确度不高的问题。第一方面，本申请实施例提供了一种Spark运行参数的确定方法，包括：获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型；基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。上述实施例中，首先基于第一运行参数集确定与任务类型匹配的目标模型，再基于第二运行参数集确定与任务类型匹配的目标运行参数，可以针对不同任务类型的任务数据确定对应的最优运行参数，进而提高了所确定的Spark运行参数的精确度。在第一方面的一种可能的实现方式中，基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，包括：针对每个数据模型，基于所述第一运行参数集，将所述数据大小和所述任务类型输入所述数据模型，输出每组第一运行参数对应的预测运行时间；根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型。上述实施例中，通过对每个数据模型输出的预测运行时间进行分析，确定多个数据模型中的目标模型，即得到与当前的任务类型匹配的目标模型，进而确定处理该类型的任务数据时的最优运行参数，提高了所确定的Spark运行参数的精确度。在第一方面的一种可能的实现方式中，根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型，包括：针对每个数据模型，根据所述每组第一运行参数对应的预测运行时间，确定所述数据模型对应的决定系数；将最大决定系数所对应的数据模型作为所述目标模型。上述实施例中，通过对每个数据模型输出的预测运行时间进行分析，确定每个数据模型的决定系数，进而得到与当前的任务类型匹配的目标模型，即确定处理该类型的任务数据时的最优运行参数，提高了所确定的Spark运行参数的精确度。在第一方面的一种可能的实现方式中，基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数，包括：基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，得到每组第二运行参数对应的预测运行时间；将最短预测运行时间所对应的第二运行运行参数作为所述目标运行参数。上述实施例中，基于第二运行参数集确定与任务类型匹配的目标运行参数，可以针对不同任务类型的任务数据确定对应的最优运行参数，进而提高了所确定的Spark运行参数的精确度。在第一方面的一种可能的实现方式中，上述方法还包括：将所述目标运行参数加入所述第一运行参数集中，并将所述目标运行参数和所述目标运行参数对应的预测运行时间存储至数据库。上述实施例中，当需要对另一种任务类型的任务数据确定目标运行参数时，则可以采用扩充后的第一运行参数集确定目标模型，即不断丰富参数集数据，以降低模型误差，提高算法准确率。在第一方面的一种可能的实现方式中，获取第一运行参数集之后，上述方法还包括：采用预设的插值算法对所述第一运行参数集中的空值数据进行插值处理，得到处理后的第一运行参数集。上述实施例中，通过对空值数据进行插值处理，可提高第一运行参数集的全面性，有助于提高所确定的目标模型的精确度。在第一方面的一种可能的实现方式中，上述方法还包括：若所述第一运行参数集中包括非数值型的运行参数，将所述非数值型的运行参数转换为数值型的运行参数。第二方面，本申请实施例提供了一种Spark运行参数的确定装置，包括：获取模块，用于获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；第一确定模块，用于基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型；第二确定模块，用于基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。第三方面，本申请实施例提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的Spark运行参数的确定方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的Spark运行参数的确定方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面中任一项所述的Spark运行参数的确定方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的计算机设备的结构示意图；图2是本申请一实施例提供的Spark运行参数的确定方法的流程示意图；图3是本申请另一实施例提供的Spark运行参数的确定方法的流程示意图；图4是本申请实施例提供的Spark运行参数的确定装置的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详本文档来自技高网...

【技术保护点】
1.一种Spark运行参数的确定方法，其特征在于，包括：/n获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；/n基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型；/n基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。/n

【技术特征摘要】
1.一种Spark运行参数的确定方法，其特征在于，包括：
获取第一运行参数集和第二运行参数集，所述第一运行参数集和所述第二运行参数集的获取方式不同；
基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，所述第一模型包括多个数据模型；
基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。


2.如权利要求1所述的方法，其特征在于，所述基于所述第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定所述第一模型中的目标模型，包括：
针对每个数据模型，基于所述第一运行参数集，将所述数据大小和所述任务类型输入所述数据模型，输出每组第一运行参数对应的预测运行时间；
根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型。


3.如权利要求2所述的方法，其特征在于，所述根据所述每组第一运行参数对应的预测运行时间，确定所述多个数据模型中的目标模型，包括：
针对每个数据模型，根据所述每组第一运行参数对应的预测运行时间，确定所述数据模型对应的决定系数；
将最大决定系数所对应的数据模型作为所述目标模型。


4.如权利要求1-3任一项所述的方法，其特征在于，所述基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数，包括：
基于所述第二运行参数集，将所述数据大小和所述任务类型输入所述目标模型，得到每组第二运行参数对应的预测运行时间；
将最短预测运行时间所对应的...

【专利技术属性】
技术研发人员：童轩，李杨，孔庆云，潘登，
申请(专利权)人：西安天和防务技术股份有限公司，
类型：发明
国别省市：陕西;61