作业调度方法及装置、存储介质及电子设备制造方法及图纸

本申请提供了一种作业调度方法及装置、存储介质及电子设备，该方法包括：获取待处理作业，并计算待处理作业的执行时长；基于待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于待处理作业的优先级；控制目标任务停止运行，并运行待处理作业。可见，本申请方案，通过计算待处理作业的执行时长，从当前运行的优先级比待处理作业的优先级低的作业中，选取与执行时长相匹配的任务进行停止，而不是直接停止当前正在运行的优先级低的所有作业所包括的任务，从而避免资源的浪费。从而避免资源的浪费。从而避免资源的浪费。

【技术实现步骤摘要】
作业调度方法及装置、存储介质及电子设备


[0001]本申请涉及数据处理领域，尤其涉及一种作业调度方法及装置、存储介质及电子设备。

技术介绍

[0002]在现有的大数据系统中，通常使用优先级进行作业调度，当接收到高优先级作业时下，往往直接停止当前正在运行的优先级低的所有作业所包括的任务，以腾出资源启动高优先级作业。然而，直接停止所有优先级低的作业，可能会存在资源过剩的情况，并且，对于所停止的作业中已经运行的任务，停止后需要从头开始执行，从而造成资源浪费。

技术实现思路

[0003]本申请提供了一种作业调度方法及装置、存储介质及电子设备，目的在于解决现有技术中，当接收到高优先级作业时下，直接停止当前正在运行的优先级低的所有作业所包括的任务，造成资源。
[0004]为了实现上述目的，本申请提供了以下技术方案：
[0005]一种作业调度方法，包括：
[0006]获取待处理作业，并计算所述待处理作业的执行时长；
[0007]基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于所述待处理作业的优先级；
[0008]控制所述目标任务停止运行，并运行所述待处理作业。
[0009]上述的方法，可选的，所述计算所述待处理作业的执行时长，包括：
[0010]计算所述待处理作业与预设的历史作业库包括的每个历史作业的相似度；
[0011]将所述历史作业库中与所述待处理作业相似度最高的历史作业确定为目标历史作业；
[0012]基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长。
[0013]上述的方法，可选的，所述计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度，包括：
[0014]获取所述待处理作业的作业量和资源分配信息；
[0015]基于所述待处理作业的作业量和资源分配信息，计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度。
[0016]上述的方法，可选的，所述基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长，包括：
[0017]获取所述目标历史作业的执行时长，计算所述目标历史作业的吞吐量；
[0018]基于所述目标历史作业的吞吐量和所述待处理作业的作业量，计算所述待处理作业的执行时长。
[0019]上述的方法，可选的，所述基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务，包括：
[0020]基于所述待处理作业的优先级，从当前处于运行状态的作业中选取优先级低于所述待处理作业的优先级的作业组成作业集合；
[0021]将所述作业集合中优先级最低的作业作为目标作业；
[0022]初始化预设的待关停任务量；
[0023]将所述目标作业包括的任务中与所述待关停任务量相匹配的任务确定为待关停任务；
[0024]判断所述待处理作业的执行时长是否大于目标时长；所述目标时长为所述待关停任务的执行时长，或所述待关停任务的执行时长与各个目标任务的执行时长之和；
[0025]若所述待处理作业的执行时长不大于所述目标时长，则将所述待关停任务确定为目标任务；
[0026]若所述待处理作业的执行时长大于所述目标时长，则对所述待关停任务量进行计算，得到新的待关停任务量，并判断所述目标作业包括的任务总量是否小于所述新的待关停任务量；若所述目标作业包括的任务总量小于所述新的待关停任务量，则将所述目标作业包括的每个任务确定为目标任务，将所述目标作业从所述作业集合中删除，并返回执行所述将所述作业集合中优先级最低的作业作为目标作业的步骤；若所述目标作业包括的任务总量不小于所述新的待关停任务量，则基于所述新的待关停任务量，返回执行所述将所述目标作业包括的任务中与所述待关停任务量匹配的任务确定为待关停任务的步骤。
[0027]上述的方法，可选的，所述运行所述待处理作业，包括：
[0028]对所述待处理作业进行作业拆分，得到所述待处理作业包括的多个任务；
[0029]运行所述待处理作业包括的各个任务。
[0030]一种作业调度装置，包括：
[0031]计算单元，用于获取待处理作业，并计算所述待处理作业的执行时长；
[0032]选取单元，用于基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于所述待处理作业的优先级；
[0033]运行单元，用于控制所述目标任务停止运行，并运行所述待处理作业。
[0034]上述的装置，可选的，所述选取单元具体用于：
[0035]基于所述待处理作业的优先级，从当前处于运行状态的作业中选取优先级低于所述待处理作业的优先级的作业组成作业集合；
[0036]将所述作业集合中优先级最低的作业作为目标作业；
[0037]初始化预设的待关停任务量；
[0038]将所述目标作业包括的任务中与所述待关停任务量相匹配的任务确定为待关停任务；
[0039]判断所述待处理作业的执行时长是否大于目标时长；所述目标时长为所述待关停任务的执行时长，或所述待关停任务的执行时长与各个目标任务的执行时长之和；
[0040]若所述待处理作业的执行时长不大于所述目标时长，则将所述待关停任务确定为
目标任务；
[0041]若所述待处理作业的执行时长大于所述目标时长，则对所述待关停任务量进行计算，得到新的待关停任务量，并判断所述目标作业包括的任务总量是否小于所述新的待关停任务量；若所述目标作业包括的任务总量小于所述新的待关停任务量，则将所述目标作业包括的每个任务确定为目标任务，将所述目标作业从所述作业集合中删除，并返回执行所述将所述作业集合中优先级最低的作业作为目标作业的步骤；若所述目标作业包括的任务总量不小于所述新的待关停任务量，则基于所述新的待关停任务量，返回执行所述将所述目标作业包括的任务中与所述待关停任务量匹配的任务确定为待关停任务的步骤。
[0042]一种存储介质，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如上述的作业调度方法。
[0043]一种电子设备，包括：
[0044]存储器，用于存储至少一组指令集；
[0045]处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上述的作业调度方法。
[0046]与现有技术相比，本申请包括以下优点：
[0047]本申请提供了一种作业调度方法及装置、存储介质及电子设备，该方法包括：获取待处理作业，并计算待处理作业的执行时长；基于待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与执行时长相匹配的任务作为目标任务；其中，低优先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度方法，其特征在于，包括：获取待处理作业，并计算所述待处理作业的执行时长；基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务；其中，低优先级作业的优先级低于所述待处理作业的优先级；控制所述目标任务停止运行，并运行所述待处理作业。2.根据权利要求1所述的方法，其特征在于，所述计算所述待处理作业的执行时长，包括：计算所述待处理作业与预设的历史作业库包括的每个历史作业的相似度；将所述历史作业库中与所述待处理作业相似度最高的历史作业确定为目标历史作业；基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长。3.根据权利要求2所述的方法，其特征在于，所述计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度，包括：获取所述待处理作业的作业量和资源分配信息；基于所述待处理作业的作业量和资源分配信息，计算所述待处理作业的与预设的历史作业库包括的每个历史作业的相似度。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标历史作业的执行时长，计算所述待处理作业的执行时长，包括：获取所述目标历史作业的执行时长，计算所述目标历史作业的吞吐量；基于所述目标历史作业的吞吐量和所述待处理作业的作业量，计算所述待处理作业的执行时长。5.根据权利要求1所述的方法，其特征在于，所述基于所述待处理作业的执行时长，在当前处于运行状态的低优先级作业所包括的各个任务中，选取与所述执行时长相匹配的任务作为目标任务，包括：基于所述待处理作业的优先级，从当前处于运行状态的作业中选取优先级低于所述待处理作业的优先级的作业组成作业集合；将所述作业集合中优先级最低的作业作为目标作业；初始化预设的待关停任务量；将所述目标作业包括的任务中与所述待关停任务量相匹配的任务确定为待关停任务；判断所述待处理作业的执行时长是否大于目标时长；所述目标时长为所述待关停任务的执行时长，或所述待关停任务的执行时长与各个目标任务的执行时长之和；若所述待处理作业的执行时长不大于所述目标时长，则将所述待关停任务确定为目标任务；若所述待处理作业的执行时长大于所述目标时长，则对所述待关停任务量进行计算，得到新的待关停任务量，并判断所述目标作业包括的任务总量是否小于所述新的待关停任务量；若所述目标作业包括的任务总量小于所述新的待关停任务量，则将所述目标作业包括的每个任务确定为目标任务，将所述目标作业从所述作业集合中删除，并返回执行所述将所述作业集合中优先级最低的作业作为目标...

【专利技术属性】
技术研发人员：谷兰芝，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：