一种作业调度方法和装置制造方法及图纸

本发明专利技术公开了一种作业调度方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采用训练好的时长计算模型计算各个作业的预估运行时长；根据所述各个作业的预估运行时长和优先级，将所述各个作业分成不同类型的作业，并将所述各个作业分别放入对应类型的作业等待队列中；根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件；若是，则从对应类型的作业等待队列中取出作业，并提交所述作业。该实施方式能够解决作业长时间等待的技术问题。业长时间等待的技术问题。业长时间等待的技术问题。

【技术实现步骤摘要】
一种作业调度方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种作业调度方法和装置。

技术介绍

[0002]在使用大数据计算引擎(比如Spark、Flink等)做大数据计算和分析时，由于数据量大，一般计算时长较长，如何合理并且高效地对大数据作业进行调度一直是该领域面临的一个问题。目前，作业调度一般采取先进先出(FIFO)调度方式或优先级调度方式(HPF)。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]先进先出调度方式只是根据作业的提交时长进行调度，没有考虑到作业的运行时长和等待时长，会导致先提交的且运行时长长的作业占满资源，从而导致后提交的作业长时间的等待。
[0005]优先级调度方式中，高优先级的作业被先提交执行，当出现大量高优先级作业时，低优先级的作业会进入较长时间等待中。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供一种作业调度方法和装置，以解决作业长时间等待的技术问题。
[0007]为实现上述目的，根据本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度方法，其特征在于，包括：采用训练好的时长计算模型计算各个作业的预估运行时长；根据所述各个作业的预估运行时长和优先级，将所述各个作业分成不同类型的作业，并将所述各个作业分别放入对应类型的作业等待队列中；根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件；若是，则从对应类型的作业等待队列中取出作业，并提交所述作业。2.根据权利要求1所述的方法，其特征在于，将所述各个作业分成不同类型的作业，包括：按照由高到低M个作业优先级别和从长到短N个作业时长分区，将所述各个作业分成M*N个不同类型的作业；其中，M和N均为大于零的整数。3.根据权利要求2所述的方法，其特征在于，还包括：分别配置运行中作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度。4.根据权利要求3所述的方法，其特征在于，根据预先配置的最大并行度和保留并行度，判断各个类型的作业是否满足提交条件，包括：按照优先级由高到低、时长由长到短的顺序依次轮询各个不同类型的作业等待队列，并且根据作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度，判断所述各个类型的作业是否满足提交条件。5.根据权利要求4所述的方法，其特征在于，根据作业最大并行度、除最短时长以外的各个优先级各个时长作业最大并行度和除最高优先级以外的各个低优先级作业保留并行度，判断各个类型的作业是否满足提交条件，包括：对于除最低优先级和最短时长以外的较高优先级较长时长作业类型，判断是否同时满足以下提交条件：运行中当前优先级当前时长作业数量小于当前优先级当前时长作业最大并行度；运行中作业数量小于运行中作业最大并行度；运行中作业最大并行度减去运行中作业数量的差值大于第一最小值；对于除最低优先级的较高优先级最短时长作业类型，判断是否同时满足以下提交条件：运行中作业数量小于运行中作业最大并行度；运行中作业最大并行度减去运行中作业数量的差...

【专利技术属性】
技术研发人员：李超，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：