一种跨集群资源调度方法和装置制造方法及图纸

本申请公开了一种跨集群资源调度方法和装置，涉及通信领域，解决了现有跨集群资源调度时，集群之间传输镜像文件占用网络带宽过大，传输速度慢，调度效率低的问题。该跨集群资源调度方法包括：获取待运行应用的文件；当确定第一集群中的剩余资源无法支持待运行应用的运行时，向调度服务器发送资源调度请求；接收调度服务器发送的第一标识；根据第一标识，向第二集群中的管理节点发送待运行应用的文件，以便于第二集群中的管理节点根据待运行应用的文件运行待运行应用。本申请提供的跨集群资源调度方法由于集群之间传输的是待运行应用的文件，从而能够降低跨集群资源调度时占用的网络带宽，提升传输速度，提高调度效率。提高调度效率。提高调度效率。

【技术实现步骤摘要】
一种跨集群资源调度方法和装置


[0001]本申请涉及通信领域，尤其涉及一种跨集群资源调度方法和装置。

技术介绍

[0002]为了提高数据处理能力和数据的可靠性，越来越多的应用(如机器学习模型)部署在单一数据中心(data center，DC)的集群中。随着运行时间的增长，集群中的应用所需要的资源越来越多，有可能会出现单一数据中心内的资源(即一个DC中的集群所提供的资源)无法满足该应用需求，进而导致应用运行失败的问题。
[0003]现有技术中，采用在不同DC的集群之间以镜像文件(如docker格式的镜像文件)为单位进行调度的方式解决上述问题。例如：当集群1中的设备确定无法满足应用1的需求时，该设备向调度服务器请求资源；调度服务器在确定集群2中的一个或者多个设备满足条件(即能够为该应用提供资源)时，向该设备发送满足条件的设备的地址；该设备向满足条件的设备发送应用1的镜像文件，这样，满足条件的设备即可根据镜像文件运行应用1。
[0004]若上述集群1和集群2不属于同一局域网，则集群1和集群2之间数据传输的速率会比较低。镜像文件占用的存储空间通常都比较大，这样的话，上述方法会出现镜像文件占用网络带宽过大，传输速度慢，调度效率低的问题。

技术实现思路

[0005]本申请提供了一种跨集群资源调度方法和装置，用于解决现有跨集群资源调度时，集群之间传输镜像文件占用网络带宽过大，传输速度慢，调度效率低问题。
[0006]为达到上述目的，本申请采用如下技术方案：
[0007]第一方面，本申请提供了一种跨集群资源调度方法，应用于第一集群中的管理节点，该方法包括：
[0008]第一集群中的管理节点获取待运行应用的文件之后，该管理节点确定第一集群中的剩余资源能否支持待运行应用的运行，当确定第一集群中的剩余资源无法支持待运行应用的运行时，该管理节点向调度服务器发送用于请求确定剩余资源支持待运行应用的运行的集群的资源调度请求，调度服务器向该管理节点发送满足资源调度请求的第二集群中管理节点的标识，该管理节点根据第一标识，向第二集群中的管理节点发送待运行应用的文件，第二集群中的管理节点根据待运行应用的文件运行待运行应用。
[0009]可以看出，本申请提供的跨集群资源调度方法中，在集群之间传输的是待运行应用的文件。相比于现有技术中传输的待运行应用的镜像文件，待运行应用的文件占用的存储空间比较小，有效地降低了跨集群资源调度时占用的网络带宽，提升传输速度，提高调度效率。
[0010]第二方面，本申请提供了一种跨集群资源调度装置，该装置应用于第一集群中的管理节点，该装置包括：获取模块、确定模块、请求模块、接收模块、发送模块。
[0011]上述获取模块用于获取待运行应用的文件。上述确定模块用于确定第一集群中的
剩余资源能否支持获取模块获取的待运行应用的运行。上述请求模块用于当确定模块确定第一集群中的剩余资源无法支持待运行应用的运行时，向调度服务器发送资源调度请求，资源调度请求用于请求确定剩余资源支持待运行应用的运行的集群。上述接收模块用于接收调度服务器发送的第一标识，第一标识为满足资源调度请求的第二集群中的管理节点的标识。上述发送模块用于根据接收模块接收到的第一标识，向第二集群中的管理节点发送待运行应用的文件，以便于第二集群中的管理节点根据待运行应用的文件运行待运行应用。
[0012]第三方面，本申请提供一种跨集群资源调度设备，该跨集群资源调度设备包括存储器和处理器。存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，跨集群资源调度设备执行如第一方面及其任一种可能的设计方式所述的跨集群资源调度方法。
[0013]第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述计算机可读存储介质在跨集群资源调度装置上运行时，使得该装置执行如第一方面及其任一种可能的设计方式所述的跨集群资源调度方法。
[0014]第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在跨集群资源调度装置上运行时，使得所述跨集群资源调度装置执行如第一方面及其任一种可能的设计方式所述的跨集群资源调度方法。
[0015]本申请中第二方面到第五方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第五方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。
[0016]本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为现有技术中跨集群资源调度系统示意图；
[0019]图2为本申请实施例中跨集群资源调度系统示意图；
[0020]图3为本申请实施例提供的跨集群资源调度装置的硬件结构示意图；
[0021]图4为本申请实施例提供的跨集群资源调度方法的流程示意图；
[0022]图5为本申请实施例提供的跨集群资源调度装置的结构示意图一；
[0023]图6为本申请实施例提供的跨集群资源调度装置的结构示意图二。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0026]随着运行时间的增长，单一数据中心内的资源会无法满足应用需求，需要在不同DC的集群之间进行调度，从而提高数据处理能力和数据的可靠性。
[0027]现有技术中，在进行跨集群资源调度时，采用在不同DC的集群之间以镜像文件为单位进行调度的方式进行。示例性的，如图1所示，跨集群资源调度系统包括：集群1(包括设备a和设备b)、集群2(包括设备c和设备d)和调度服务器。集群1、集群2与调度服务器连接，集群1和集群2之间通过网络传输。集群1与集群2之间的资源调度流程可以为：1、当集群1中的设备(如设备a)确定集群1无法满足应用1运行的资源需求时，该设备a向调度服务器发送资源请求。2、调度服务器向集群2发送查询请求，以查询资源是否满足应用1的需求。3、在确定集群2中的一个或者多个设备(如设备d)满本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨集群资源调度方法，其特征在于，应用于第一集群中的管理节点，所述跨集群资源调度方法包括：获取待运行应用的文件；当确定所述第一集群中的剩余资源无法支持所述待运行应用的运行时，向调度服务器发送资源调度请求，所述资源调度请求用于请求确定剩余资源支持所述待运行应用的运行的集群；接收所述调度服务器发送的第一标识，所述第一标识为满足所述资源调度请求的第二集群中管理节点的标识；根据所述第一标识，向所述第二集群中的管理节点发送所述待运行应用的文件，以便于所述第二集群中的管理节点根据所述待运行应用的文件运行所述待运行应用。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当确定所述第一集群中的剩余资源支持所述待运行应用的运行时，根据所述待运行应用的文件生成所述待运行应用的镜像文件；根据所述镜像文件，运行所述待运行应用。3.根据权利要求1或2所述的方法，其特征在于，所述获取待运行应用的文件，包括：接收终端发送的所述待运行应用的文件；或者，接收第三集群中管理节点发送的所述待运行应用的文件。4.根据权利要求2所述的方法，其特征在于，所述镜像文件为docker镜像文件。5.一种跨集群资源调度装置，所述装置应用于第一集群中的管理节点，其特征在于，所述装置包括：获取模块，用于获取待运行应用的文件；确定模块，用于确定所述第一集群中的剩余资源能否支持所述获取模块获取的所述待运行应用的运行；请求模块，用于当所述确定模块确定所述第一集群中的剩余资源无法支持所述待运行应用的运行时，向调度服务器发送资源调度请求，所述资源调度请求用于请求确定剩余资源支持所述...

【专利技术属性】
技术研发人员：曹云飞，崔煜喆，徐治理，霍龙社，唐雄燕，刘腾飞，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：