一种基于多集群网络的任务调度方法及系统技术方案

本申请提供一种基于多集群网络的任务调度方法及系统，工作流服务器根据任务之间的依赖关系向全局调度器依次发送任务的任务信息，保证每一个任务都能按顺序依次执行，由全局调度器根据各任务的任务信息以及多集群网络中各集群的资源情况，将各任务分发到可满足各自资源需求的集群的本地调度器中调度执行，可以高效地利用各集群上的资源，尽可能保证每一个集群上分发的任务都能被执行，提升了通信资源的利用率；另外，针对每一任务，当确定该任务不存在依赖任务，或该任务的依赖任务执行完毕后，再将该任务的任务信息发送给全局调度器，保证发送给全局调度器的任务可以被有效执行，减少执行各任务之间的等待时间，提升了任务执行的效率。行的效率。行的效率。

【技术实现步骤摘要】
一种基于多集群网络的任务调度方法及系统


[0001]本申请涉及任通信
，具体而言，涉及一种基于多集群网络的任务调度方法及系统。

技术介绍

[0002]在传统的任务调度系统中，大部分都没有提供任务依赖功能，或者即使提供了任务依赖功能，在实现各任务时，如何高效地利用多个集群上的资源仍没有合理的解决方案。

技术实现思路

[0003]本申请实施例的目的在于提供一种基于多集群网络的任务调度方法及系统，用以解决现有多集群网络的任务调度系统中无法高效地利用多个集群上的资源的问题。
[0004]本申请实施例提供了一种基于多集群网络的任务调度方法，包括：工作流服务器接收工作流调度请求；所述工作流服务器根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；各所述本地调度器将接收到的各所述任务分发至各自对应的节点上执行。
[0005]在上述实现过程中，工作流服务器根据任务之间依赖关系向全局调度器依次发送各任务的任务信息，以保证每一个任务都能按顺序依次执行，由于全局调度器根据各任务的任务信息以及多集群网络中各集群的资源情况，将各任务分发到可满足各自资源需求的集群的本地调度器中调度执行，可以高效地利用各集群上的资源，尽可能保证每一个集群上分发的任务都能被执行，提升了通信资源的利用率。
[0006]进一步地，所述根据所述依赖关系向全局调度器依次发送各所述任务的任务信息，包括：针对每一所述任务，当确定该任务满足预设的任务依赖条件中的一种时，再将该任务的任务信息发送给所述全局调度器；所述预设的任务依赖条件包括：条件一：该任务不存在依赖任务；条件二：该任务的依赖任务执行完毕。
[0007]在上述实现过程中，针对每一任务，当确定该任务不存在依赖任务，或该任务的依赖任务执行完毕后，再将该任务的任务信息发送给全局调度器，保证发送给全局调度器的任务可以被有效执行，减少执行各任务之间的等待时间，提升了任务执行的效率。
[0008]进一步地，所述多集群网络为多集群算力网络，所述任务为计算任务。
[0009]在上述实现过程中，支持多集群算力网络中的工作流调度，使得复杂的大规模、跨集群的计算任务可以方便的完成。
[0010]进一步地，每一所述任务的资源需求信息还包括：执行所述任务所需数据的数据存储地址信息。
[0011]进一步地，每一所述任务的任务信息还包括：任务执行结果的执行结果存储地址信息；各所述本地调度器中的各所述节点用于根据所述执行结果存储地址信息将任务执行结果存储在对应的位置上。
[0012]进一步地，所述全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中，包括：所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所述任务所需的数据所在的目标集群；在判定某一所述任务对应的所述目标集群的资源情况满足该任务的资源需求时，将该任务分发到该目标集群的本地调度器中。
[0013]进一步地，所述数据存储地址信息为地址索引信息，所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所述任务所需的数据所在的目标集群，包括：所述全局调度器根据接收到的各所述任务对应的地址索引信息从分布式数据库中查询各所述地址索引信息对应的目标集群；所述分布式数据库中存储有各数据的地址索引信息与存储该数据的集群的对应关系。
[0014]在上述实现过程中，通过在分布式数据库中建立数据地址索引和该数据所在的集群的对应关系来满足多集群网络对数据的存储和使用需求。
[0015]进一步地，所述方法还包括：在判定某一所述任务对应的目标集群的资源情况不满足该任务的资源需求时，将该任务分发到该任务的最优候选集群的本地调度器中；该任务的最优候选集群为所述多集群网络中与该任务的目标集群的数据传输速率最快、且其资源情况满足该任务的资源需求的集群。
[0016]在上述实现过程中，将任务分配到最优候选集群，以优化数据访问的代价。
[0017]进一步地，所述方法还包括：各所述节点从公共镜像仓库中拉取镜像，根据所述镜像执行接收到的所述任务，各所述集群通过所述公共镜像仓库中的镜像共享任务执行算法。
[0018]本申请实施例还提供了一种基于多集群网络的任务调度系统，包括：工作流服务器，用于接收工作流调度请求，根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；全局调度器，用于根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；本地调度器，用于将接收到的各所述任务分发至各自对应的节点上执行。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使
用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1为本申请实施例提供的基于多集群网络的任务调度方法的流程示意图；图2为本申请实施例提供的各任务之间依赖关系的示意图；图3为本申请实施例提供的一种任务流对应的任务信息的信息结构示意图；图4为本申请实施例提供的基于多集群网络的任务调度系统的结构示意图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0022]本申请实施例提供了一种基于多集群网络的任务调度方法，请参见图1所示，可以包括以下步骤：S101：工作流服务器接收工作流调度请求。
[0023]本实施例中的工作流由存在依赖关系的多个任务构成的，组成工作流的各任务需按照依赖关系执行，本实施例中的各任务可以构成一个有向无环图。
[0024]S102：工作流服务器根据工作流调度请求确定需要执行的任务之间的依赖关系和各任务的任务信息，并根据所述依赖关系向全局调度器依次发送各任务的任务信息。
[0025]可以理解的是，工作流服务器可以接收用户通过终端提交的工作流调度请求，然后对该工作流调度请求进行分析确定需要执行的任务之间的依赖关系。
[0026]应当说明的是，本实施例中各任务的任务信息可以以job的形式发送给全局调度器，本实施例中的job提供一个可扩展的机制来描述任务，该机制包含的信息对应本实施例中任务信息的具体内容，本实施例中，每一任务的任务信息可以包括但不限于以下内容中的至少一种：（1）执行该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多集群网络的任务调度方法，其特征在于，包括：工作流服务器接收工作流调度请求；所述工作流服务器根据所述工作流调度请求确定需要执行的任务之间的依赖关系和各所述任务的任务信息，并根据所述依赖关系向全局调度器依次发送各所述任务的任务信息；所述任务信息中包括执行所述任务所需资源的资源需求信息；全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中；各所述本地调度器将接收到的各所述任务分发至各自对应的节点上执行。2.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，所述根据所述依赖关系向全局调度器依次发送各所述任务的任务信息，包括：针对每一所述任务，当确定该任务满足预设的任务依赖条件中的一种时，再将该任务的任务信息发送给所述全局调度器；所述预设的任务依赖条件包括：条件一：该任务不存在依赖任务；条件二：该任务的依赖任务执行完毕。3.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，所述多集群网络为多集群算力网络，所述任务为计算任务。4.如权利要求1所述的基于多集群网络的任务调度方法，其特征在于，每一所述任务的资源需求信息包括：执行所述任务所需数据的数据存储地址信息。5.如权利要求4所述的基于多集群网络的任务调度方法，其特征在于，每一所述任务的任务信息还包括：任务执行结果的执行结果存储地址信息；各所述本地调度器中的各所述节点用于根据所述执行结果存储地址信息将任务执行结果存储在对应的位置上。6.如权利要求4所述的基于多集群网络的任务调度方法，其特征在于，所述全局调度器根据各所述任务的任务信息以及多集群网络中各集群的资源情况，将各所述任务分发到可满足各自资源需求的集群的本地调度器中，包括：所述全局调度器根据接收到的各所述任务对应的数据存储地址信息确定执行各所...

【专利技术属性】
技术研发人员：王明亮，王迪，
申请(专利权)人：北京云歌科技有限责任公司，
类型：发明
国别省市：