任务调度方法、计算机设备及存储介质技术

本发明专利技术实施例公开了一种任务调度方法、计算机设备及存储介质。该方法包括：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。上述任务调度方案适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，提高了集群的整体运行效率。提高了集群的整体运行效率。提高了集群的整体运行效率。

【技术实现步骤摘要】
任务调度方法、计算机设备及存储介质


[0001]本专利技术实施例涉及任务调度
，尤其涉及一种任务调度方法、计算机设备及存储介质。

技术介绍

[0002]随着大数据技术的普及，现代集群的规模越来越大，集群中运行任务的种类越来越多，运行的周期越来越长。在集群的整个生命周期中，集群中机器硬件可能存在差异，并非是单一同构的，而且在同一集群上运行混合负载也成为一种趋势。
[0003]一般来讲，任务调度指的是为任务进行资源分配。在传统的应用场景中，集群机器和运行任务都是单一同构的，调度粒度较粗，通常是基于内存或CPU(Central Processing Unit，中央处理器)将主机资源切分为一个或多个分组，组与组之间并没有能力上的差别，然后以组为单位进行资源调度。出于性能考虑，传统的任务调度方法也会在调度过程进行一些简单的约束，例如，Yarn会优先将任务调度到存放相应数据的机器上，Spark执行任务时会尽量将后序子任务调度到前序子任务输出数据所在的机器上。但总体来讲，传统调度方法所使用的约束条件比较简单，仅能考虑诸如靠近存储节点、节点有无GPU(Graphics Processing Unit，图形处理器)之类的简单约束。
[0004]如今大规模异构并行集群需要考虑的资源不再局限于CPU、磁盘、内存等，不同集群机器之间资源也有较大差异，目前仅使用通用简单约束的任务调度方法已不再适用于当下复杂的应用场景。因此，如何实现适用于大规模异构并行集群的任务调度是亟待解决的问题。

技术实现思路

[0005]本专利技术实施例提供一种任务调度方法、计算机设备及存储介质，以适用于大规模异构并行集群，提高对集群资源调度管理的精细程度。
[0006]第一方面，本专利技术实施例提供了一种任务调度方法，包括：
[0007]获取待调度任务，并确定所述待调度任务的目标资源需求；
[0008]遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
[0009]在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
[0010]第二方面，本专利技术实施例还提供了一种任务调度装置，包括：
[0011]待调度任务获取并分析模块，设置为获取待调度任务，并确定所述待调度任务的目标资源需求；
[0012]资源分配候选子图生成模块，设置为遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资
源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
[0013]待调度任务资源分配模块，设置为在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
[0014]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当计算机程序执行时使得处理器执行以下操作：
[0015]获取待调度任务，并确定所述待调度任务的目标资源需求；
[0016]遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
[0017]在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
[0018]第四方面，本专利技术实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序用于执行：
[0019]获取待调度任务，并确定所述待调度任务的目标资源需求；
[0020]遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；
[0021]在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。
[0022]在本专利技术实施例中，获取待调度任务之后，首先分析该待调度任务的目标资源需求，然后遍历当前时刻的可用资源属性图，生成满足目标资源需求的多个资源分配候选子图，并在多个资源分配候选子图中确定一个资源分配目标子图，进而按照资源分配目标子图对待调度任务进行部署，其中，可用资源属性图以及资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息。上述任务调度方案，适用于大规模异构并行集群，能够对集群资源进行更加精细的调度管理，将资源数量以及不同资源之间的关联限制都纳入调度管理，降低了任务间出现资源冲突的可能性，提高了集群的整体运行效率。
附图说明
[0023]图1是本专利技术实施例一提供的一种任务调度方法的流程图；
[0024]图2是本专利技术实施例一提供的一种可用资源属性图的示例；
[0025]图3是本专利技术实施例二提供的一种任务调度方法的流程图；
[0026]图4是本专利技术实施例二提供的一种可用资源属性图的示例；
[0027]图5是本专利技术实施例二提供的一种资源分配候选子图的示例；
[0028]图6是本专利技术实施例二提供的一种资源分配候选子图的示例；
[0029]图7是本专利技术实施例二提供的一种资源分配候选子图的示例；
[0030]图8是本专利技术实施例二提供的一种资源分配候选子图的示例；
[0031]图9是本专利技术实施例三提供的一种任务调度方法的流程图；
[0032]图10是本专利技术实施例四提供的一种任务调度装置的结构示意图；
[0033]图11为本专利技术实施例五提供的一种计算机设备的结构示意图。
具体实施方式
[0034]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。
[0035]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0036]本文使用的术语“待调度任务”指的是需要进行资源调度的任务。
[0037]本文使用的术语“目标资源需求”指的是集群执行待调度任务所需要的资源。
[0038]本文使用的术语“可用资源属性图”是用于表示集群中空闲可用资源之间关联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图；其中，所述可用资源属性图以及所述资源分配候选子图中顶点的属性表示资源数量信息，边的属性表示资源关联信息；在所述至少两个资源分配候选子图中确定一个资源分配目标子图，并按照所述资源分配目标子图对所述待调度任务进行部署。2.根据权利要求1所述的方法，其特征在于，在所述至少两个资源分配候选子图中确定一个资源分配目标子图，包括：根据预设评估模型，分别对每个所述资源分配候选子图进行评估；将评估结果最优的一个所述资源分配候选子图作为所述资源分配目标子图。3.根据权利要求2所述的方法，其特征在于，根据预设评估模型，分别对每个所述资源分配候选子图进行评估，包括：根据预设评估模型，分别对与每个所述资源分配候选子图对应的资源占用情况和/或资源分布集中程度进行评估。4.根据权利要求1所述的方法，其特征在于，遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图，包括：遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的预设数量个资源分配候选子图。5.根据权利要求1所述的方法，其特征在于，在遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配候选子图之前，还包括：如果确定当前可用资源无法满足所述目标资源需求，则按照预设资源抢占策略释放被执行中任务占用的资源，更新当前时刻的可用资源属性图。6.根据权利要求5所述的方法，其特征在于，按照预设资源抢占策略释放被执行中任务占用的资源，包括：如果存在优先级低于所述待调度任务的执行中任务，则将所述执行中任务挂起，并释放被所述执行中任务占用的资源。7.根据权利要求1所述的方法，其特征在于，在获取待调度任务之前，还包括：创建与集群对应的可用资源属性图；在按照所述资源分配目标子图对所述待调度任务进行部署之后，还包括：根据所述待调度任务的资源消耗情况，对当前时刻的所述可用资源属性图进行更新。8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述计算机程序执行时使得所述处理器执行以下操作：获取待调度任务，并确定所述待调度任务的目标资源需求；遍历当前时刻的可用资源属性图，生成满足所述目标资源需求的至少两个资源分配...

【专利技术属性】
技术研发人员：唐剑飞，
申请(专利权)人：南京星环智能科技有限公司，
类型：发明
国别省市：