一种任务调度方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种任务调度方法、装置、电子设备及存储介质，涉及大数据计算技术领域，用以解决现阶段YARN计算集群进行任务执行时，对权重级别不同的任务的调度不够合理的问题，包括：获取待调度任务的任务组；其中，任务组包括多个待调度任务；确定任务组的初始执行队列；其中，初始执行队列用于指示多个待调度任务的执行顺序；在任务组中包括的待调度任务增加或减少的情况下，确定任务组中每个待调度任务的第一权重值；根据任务组中每个待调度任务的第一权重值，确定任务组的更新执行队列；根据更新执行队列，执行任务组中的每个待调度任务。本申请用于YARN计算集群的任务调度。本申请用于YARN计算集群的任务调度。本申请用于YARN计算集群的任务调度。

【技术实现步骤摘要】
一种任务调度方法、装置、电子设备及存储介质


[0001]本申请涉及大数据计算领域，尤其涉及一种任务调度方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来，随着网络线上数据的爆炸式增长，大数据技术越来越广泛地运用到分析、预测、甚至决策等场景中。大数据技术底层往往是基于测量报告(measurement report，MR)任务来达到各种业务目标。
[0003]MR任务技术一般需要一个调度装置，调度装置会考虑各个计算节点的权重，将任务放到计算集群的不同节点上执行，目前这种调度装置一般为一个通过另一种资源协调者(yet another resource negotiator，YARN)来管理的计算集群。
[0004]目前针对YARN计算集群的任务调度方案，对于权重级别不同的任务的调度不够合理，会有一些低权重的任务长期无法被分配到资源，导致这些任务失败。

技术实现思路

[0005]本申请提供一种任务调度方法、装置、电子设备及存储介质，用以解决现阶段YARN计算集群进行任务执行时，对权重级别不同的任务的调度不够合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：获取待调度任务的任务组；其中，所述任务组包括多个所述待调度任务；确定所述任务组的初始执行队列；其中，所述初始执行队列用于指示所述多个所述待调度任务的执行顺序；在所述任务组中包括的所述待调度任务增加或减少的情况下，确定所述任务组中每个待调度任务的第一权重值；根据所述任务组中每个待调度任务的第一权重值，确定所述任务组的更新执行队列；根据所述更新执行队列，执行所述任务组中的所述每个待调度任务。2.根据权利要求1所述的方法，其特征在于，所述获取待调度任务的任务组，具体包括：响应于用户的第一操作，确定待调度任务的属性特征信息；其中，所述待调度任务的属性特征信息包括以下一项或多项：任务内容信息、执行时间信息、预设权重值、归属任务组信息；根据所述待调度任务的属性特征信息，将所述待调度任务发布至所述待调度任务对应的所述任务组。3.根据权利要求2所述的方法，其特征在于，所述确定所述任务组的初始执行队列，具体包括：根据所述待调度任务的执行时间信息，确定待排序任务；其中，所述待排序任务为在初始时刻需求被执行的待调度任务；根据所述待排序任务的预设权重值降序，确定所述初始执行队列。4.根据权利要求3所述的方法，其特征在于，所述确定所述任务组中每个待调度任务的第一权重值，满足以下公式：W＝W0*(n+1)2其中，W表示所述待调度任务的第一权重值，W0表示所述待调度任务的初始权重值，n表示所述初始执行队列中已被执行的待调度任务的数量。5.根据权利要求4所述的方法，其特征在于，所述更新执行队列根据所述待调度任务的第一权重值降序排列，所述根据所述更新执行队列，执行所述任务组中的所述每个待调度任务，具体包括：将所述更新执行队列中位于队首的待调度任务提交至计算集群，确定任务执行结果。6.一种任务调度装置，其特征在于，所述任务调度装置包括：获取单元和处理单元：所述获取单元，用于获取待调度任务的任务组；其中，所述任务组包括多个所述待调度任务；所述处理单元，用于确定所述任务组的初始执行队列；其中，所述初始执行队列用于指示所述多个所述待调度任务的执行顺序；所述处...

【专利技术属性】
技术研发人员：张建荣，谢继刚，徐益军，朱振华，易小安，
申请(专利权)人：联通数字科技有限公司联通云数据有限公司，
类型：发明
国别省市：