【技术实现步骤摘要】
作业调度方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种作业调度方法、装置、电子设备及存储介质。
技术介绍
[0002]随着互联网时代的不断发展，数据爆炸性增长，对于传统基于关系型数据库的数据仓库建设已逐步不能满足现有大数据的计算要求。针对大数据的数据仓库建设，目前主流技术主要技术Spark进行离线数据加工处理。
[0003]相关技术中，通过Spark SQL提交SQL作业到SQL计算引擎，经常遇到不同级别的调度的资源相互竞争影响，导致低级别的作业无法在正常的调度周期完成，同时也存在部分作业因为计算复杂度以及数据量大等问题，导致单作业执行阻塞，影响其他作业的正常调度。
技术实现思路
[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的第一个目的在于提出一种作业调度方法，以通过根据不同任务的运行类型执行不同的运行策略，解决了因大作业阻塞影响其他作业的正常调度的问题，保证了各个作业能够按时有效完成。>[0006]本专利本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业调度方法，其特征在于，包括以下步骤：获取待调度的第一作业任务；对所述第一作业任务进行分析，以根据所述第一作业任务所需的运行时长确定所述第一作业任务的运行类型，其中，所述运行类型包括隔离运行和SQL运行；在所述运行类型为SQL运行的情况下，调度计算集群中的SQL引擎执行所述第一作业任务；在所述运行类型为隔离运行的情况下，将所述第一作业任务封装为独立APP并调度至所述计算集群中采用独立于所述SQL引擎的隔离方式运行。2.根据权利要求1所述的方法，其特征在于，所述对所述第一作业任务进行分析，以根据所述第一作业任务所需的运行时长确定所述第一作业任务的运行类型，包括：根据所述第一作业任务所涉及的SQL操作算子和/或相关数据表中的数据量信息，确定所述第一作业任务所需的运行时长；根据所述运行时长，确定所述第一作业任务的运行类型。3.根据权利要求2所述的方法，其特征在于，所述根据所述运行时长，确定所述第一作业任务的运行类型，包括：在所述运行时长大于阈值的情况下，确定所述运行类型为隔离运行。4.根据权利要求2所述的方法，其特征在于，所述根据所述运行时长，确定所述第一作业任务的运行类型，包括：在所述运行时长未大于阈值的情况下，根据所述第一作业任务的执行周期和所述运行时长，确定所述第一作业任务所需的运行时段；根据所述SQL引擎已调度的作业任务，确定可用时段；在所述第一作业任务所需的运行时段处于所述可用时段之内的情况下，确定所述第一作业任务的运行类型为SQL运行；在所述第一作业任务所需的运行时段未处于所述可用时段之内的情况下，确定所述第一作业任务的运行类型为隔离运行。5.根据权利要求4所述的方法，其特征在于，所述计算集群包括多个所述SQL引擎，多个所述SQL引擎划分为至少两个分组；所述至少两个分组用于执行不同的作业周期任务；所述根据所述SQL引擎已调度的作业任务，确定可用时段，包括：根据所述第一作业任务的执行周期，从所述至少两个分组中确定所述执行周期对应的第一目标分组，其中，所述第一目标分组用于在所述运行类型为SQL运行的情况下，调度内部SQL引擎执行所述第一作业任务；根据所述第一目标分组中的SQL引擎已调度的作业任务，确定所述可用时段。6.根据权利要求5所述的方法，其特征在于，还包括：在所述第一目标分组执行任务失败的情形下，将所述第一作业任务调度至第二目标分组执行任务；其中，所述第二目标分组执行的任务的作业周期大于所述第一目标分组执行的任务的作业周期。7.根据权利要求5所述的方法，其特征在于，所述第一目标分组包括至少两个SQL引擎；所述在所述运行类型为SQL运行的情况下，调度计算集群中的SQL引擎执行所述第一作业任
务，包括：从所述第一目标分组的至少两个SQL引擎中，确定所述第一作业任务的运行时段处于所述可用时段内的目标SQL引擎；调度所述目标SQL引擎执行所述第一作业任务。8.一种作业调度装置，其特征在于，包括以下步骤：第一获取模块，用于获取待调度的第一作业任务；分析模块，用于对所述第一...
【专利技术属性】
技术研发人员：林佳龙，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。