一种面向异构算力联邦的多集群作业调度系统和方法技术方案

本申请涉及一种面向异构算力联邦的多集群作业调度系统和方法，所述系统包括：事件感知模块、作业队列管理模块、资源拓扑生成模块和调度决策生成模块；所述资源拓扑生成模块，用于根据所述事件感知模块分配的目标事件生成资源拓扑数据；所述资源拓扑数据包括根据所述目标事件对应的节点信息拓扑生成的多个集群的集群信息；所述调度决策生成模块，用于根据从所述作业队列管理模块中获取的待调度的目标作业和从所述资源拓扑生成模块获取的资源拓扑数据，生成调度结果。本申请通过节点信息到多个集群的集群信息的拓扑，从而实现了多个集群的跨集群资源分配。个集群的跨集群资源分配。个集群的跨集群资源分配。

【技术实现步骤摘要】
一种面向异构算力联邦的多集群作业调度系统和方法


[0001]本申请涉及计算机
，尤其涉及在单数据中心异构算力联邦环境下，实现一种面向异构算力联邦的多集群作业调度系统和方法。

技术介绍

[0002]随着云计算的不断发展，数据中心虚拟化技术已逐渐从虚拟机向容器演进。目前大型的容器集群管理系统，旨在高效地处理大规模并行计算问题，以提升资源利用率和降低运维成本。
[0003]但在许多科研领域，大规模并行计算任务的资源需求已经远远超过单一容器管理集群所能提供的资源极限，以天气预报模拟为例，这类大规模并行计算任务需在短时间内处理大量数据，单一容器管理集群可能无法满足其计算资源需求。采用跨多个容器集群的解决方案，可以提供更强大的计算能力，实现更快速、更准确的预测。此时问题变成了跨集群资源分配问题。但每个独立的容器集群管理系统都有着自己的独立的调度器，在进行作业调度时，无法完成多个集群的跨集群资源的分配。

技术实现思路

[0004]在本申请中提供了一种面向异构算力联邦的多集群作业调度系统和方法，以解决现有技术中在进行作业调度时，无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向异构算力联邦的多集群作业调度系统，其特征在于，所述系统包括：事件感知模块、作业队列管理模块、资源拓扑生成模块和调度决策生成模块；所述事件感知模块，用于根据资源数据的变更生成对应的目标事件，将所述目标事件对应的目标作业分配给所述作业队列管理模块进行管理，将所述目标事件分配给所述资源拓扑生成模块；所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述目标事件包括作业事件、集群事件和节点事件；所述作业队列管理模块，用于根据目标作业的调度决策对所述目标事件对应的目标作业进行管理；所述资源拓扑生成模块，用于根据所述事件感知模块分配的目标事件生成资源拓扑数据；所述资源拓扑数据包括根据所述目标事件对应的节点信息拓扑生成的多个集群的集群信息；所述调度决策生成模块，用于根据从所述作业队列管理模块中获取的待调度的目标作业和从所述资源拓扑生成模块获取的资源拓扑数据，生成调度结果。2.根据权利要求1所述的面向异构算力联邦的多集群作业调度系统，其特征在于，所述系统还包括：集群管理模块；所述集群管理模块，用于获取多个集群的集群资源数据和所述多个集群对应的节点资源数据，并根据所述调度决策生成模块生成的调度结果对所述待调度的目标作业进行调度。3.一种面向异构算力联邦的多集群作业调度方法，其特征在于，所述方法包括：根据资源数据的变更生成对应的目标事件，根据目标作业的调度决策对所述目标事件对应的目标作业进行管理，并根据所述目标事件生成资源拓扑数据；所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述目标事件包括作业事件、集群事件和节点事件，所述资源拓扑数据包括根据所述目标事件对应的节点信息拓扑生成的多个集群的集群信息；根据管理后的目标作业和所述资源拓扑数据，生成调度结果。4.根据权利要求3所述的面向异构算力联邦的多集群作业调度方法，其特征在于，所述目标事件包括已调度作业事件，所述根据所述目标事件生成资源拓扑数据，包括：根据已调度作业事件、集群事件和节点事件，获取当前的集群信息、当前的节点信息和已调度作业事件对应的已调度作业的已调度作业信息；根据所述当前的集群信息、所述当前的节点信息和所述已调度作业事件对应的已调度作业的已调度作业信息，生成所述资源拓扑数据。5.根据权利要求4所述的面向异构算力联邦的多集群作业调度方法，其特征在于，所述根据所述当前的集群信息、所述当前的节点信息和所述已调度作业事件对应的已调度作业的已调度作业信息，生成所述资源拓扑...

【专利技术属性】
技术研发人员：董赵宇，高翔，潘爱民，
申请(专利权)人：之江实验室，
类型：发明
国别省市：