优化SOL任务参数的方法、装置及设备制造方法及图纸

本申请实施例提供的一种优化SOL任务参数的方法、装置及设备，获取当前数据处理引擎Spark集群的硬件资源信息和当前SQL任务信息；根据硬件资源信息和SQL任务信息确定可选的任务参数组合；基于人工智能AI模型确定在各任务参数组合下执行SQL任务所需的执行时长；基于各任务参数组合对应的执行时长确定最优任务参数组合。通过AI对各任务参数组合的执行时长进行预测并确定最优任务参数组合，提高了任务参数的确定效率，加快了任务上线进度，避免了服务器资源浪费，提高任务执行效率。

【技术实现步骤摘要】

本申请涉及计算机，具体地涉及一种优化sol任务参数的方法、装置及设备。

技术介绍

1、spark为结构化数据处理引入了一个称为sparksql的编程模块，在提交sparksql作业任务时，用户需提交相应的任务参数。任务参数决定该作业任务所能够使用的资源，直接影响任务性能。如今在提交任务参数时，用户通常根据自己工作经验以及任务信息(如参数量)预估任务参数大小。同时，在实际运行中对任务提交的任务参数不断校正，以求任务参数达到比较合适的大小。

2、然而，任务参数的不断试错会减缓作业任务的上线速度，进而影响作业任务的整体进度。此外，spark sql提交任务参数比较多，不能很好权衡各个方面。工作经验丰富的用户参数调整的比较合理，工作经验欠缺的用户参数调整的不尽人意，可能导致任务性能不佳。

技术实现思路

1、有鉴于此，本申请提供一种优化sol任务参数的方法、装置及设备，以利于解决现有技术中spark sql任务参数调整效率不高的问题。

2、第一方面，本申请实施例提供了一种优化sol任务参数的方法本文档来自技高网...

【技术保护点】

1.一种优化SQL任务参数的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，每个任务参数组合中包含多个任务参数，所述任务参数包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述硬件资源信息和所述SQL任务信息确定可选的任务参数组合，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述硬件资源信息和所述任务信息确定不同参数维度下的任务参数集合，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取当前数据处理引擎Spark集群的硬件资源信息和当前SQL任务信息之前，所述方法还包括：

6....

【技术特征摘要】

1.一种优化sql任务参数的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，每个任务参数组合中包含多个任务参数，所述任务参数包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述硬件资源信息和所述sql任务信息确定可选的任务参数组合，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述硬件资源信息和所述任务信息确定不同参数维度下的任务参数集合，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取当前数据处理引擎spark集群的硬件资源信息和当前sql任务信息之前，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：张洪伟，赵礼明，李舟，晏忠稳，吴振廷，
申请(专利权)人：富联精密电子郑州有限公司，
类型：发明
国别省市：