基于中心化的异构算力联邦系统及组网和执行方法技术方案

本发明专利技术公开了基于中心化的异构算力联邦系统及组网和执行方法，其中所述异构算力联邦系统架构总体上分为2层：视图层和资源层。在视图层包含2个模块：异构算力联邦服务模块和异构算力联邦控制模块；在资源层中包含2个模块：异构算力集群管理模块和异构算力联邦探针模块。根据上述架构，异构算力集群进行组网：首先在在异构算力集群管理模块部署异构算力联邦探针模块；然后在异构算力联邦控制模块创建异构算力集群描述模型；之后异构算力联邦探针模块收集异构算力集群信息推送到异构算力联邦控制模块；最后由异构算力联邦控制模块填充异构算力集群资源描述模型，完成异构算力联邦系统的统一算力视图。统的统一算力视图。统的统一算力视图。

【技术实现步骤摘要】
基于中心化的异构算力联邦系统及组网和执行方法


[0001]本专利技术涉及计算机应用
，特别涉及基于中心化的异构算力联邦系统及组网和执行方法。

技术介绍

[0002]随着各行业生产运营中数字化转型的深化，各类行业终端将产生海量的原始数据，因此亟需大量的算力进行处理，为满足业务层秒级响应，低延时和业务连续性的要求，常采用算力集群方式提供高可用、高吞吐和高扩展的技术架构。
[0003]在算力集群逐年建设过程中，在同一数据中心或者不同数据中心，存在大量异构算力集群资源，如何能够在统一的平台对这些算力资源进行管理和调度，使得算力使用方可以方便根据需要、使用习惯调用算力资源是及待解决的问题。

技术实现思路

[0004]本专利技术的目的在于提供基于中心化的异构算力联邦系统及组网和执行方法，以解决目前无法对异构集群进行统一管控的难题。
[0005]为实现上述目的，本专利技术提供如下技术方案：本申请公开了一种基于中心化的异构算力联邦系统，包括视图层和资源层，所述视图层内设有异构算力联邦服务模块和异构算力联邦控制模块；所述异构算力联邦服务模块基于异构算力联邦控制模块存储的异构算力集群资源描述模型，对外提供统一的异构算力使用接口；所述异构算力联邦控制模块接收来自异构算力联邦探针模块的信息推送，填充异构算力集群资源描述模型，形成异构算力资源的统一视图；接收来自异构算力联邦服务模块的异构算力使用请求，并根据异构算力资源的统一视图将异构算力使用请求转发到异构算力联邦探针模块；所述资源层内设有异构算力联邦探针模块和异构算力集群管理模块；所述异构算力联邦探针模块基于从异构算力管理模块获取的异构算力集群资源信息，并将其转换为异构算力集群资源描述模型的属性，最后将异构算力集群资源描述模型上报给异构算力联邦控制模块；所述异构算力集群管理模块由异构算力集群自行定义，针对不同的异构算力集群存在不同类型的异构算力集群管理模块，不同的异构算力集群管理模块之间的差异性由异构算力联邦探针模块分别适配解决。
[0006]作为优选，所述异构算力联邦服务模块以API业务网关的方式对外提供HTTP接口。
[0007]作为优选，所述异构算力联邦控制模块包括计算机构和存储架构，所述计算架构采用SpringMVC技术提供HTTP接口，包括作业创建接口、查询作业列表接口、查询作业详情接口、删除作业接口、申请集群资源接口、释放集群资源接口、添加集群信息接口、更新集群信息接口和删除集群信息接口；所述存储架构采用MySQL数据库以表的形式存储，包括作业
表、集群资源表和集群资源使用记录表。
[0008]本专利技术还公开了一种基于中心化的异构算力联邦系统的组网方法，具体包括如下步骤：S1、在异构算力集群管理模块中部署适配该异构算力集群管理模块的异构算力联邦探针模块，使异构算力联邦探针模块与异构算力集群管理模块进行通信，获取该异构算力集群的资源信息，同时异构算力联邦探针模块能够与异构算力联邦控制模块进行通信，上报异构算力集群资源描述模型的信息；S2、在异构算力联邦控制模块创建异构算力集群资源描述模型，所述异构算力集群资源描述模型包含异构算力集群元数据，异构算力集群资源数据和异构算力集群状态数据；S3、异构算力联邦探针模块从异构算力集群管理模块获取异构算力集群资源信息，将异构算力集群资源信息转换为异构算力集群资源描述模型的属性，最后将该异构算力集群资源描述模型的数据上报给异构算力联邦控制模块；S4、异构算力联邦控制模块接收到异构算力联邦探针模块周期性上报的异构算力集群资源描述模型的数据后，首先更新存储在异构算力联邦控制模块的异构算力集群资源描述模型，最后再重构异构算力资源的统一视图。
[0009]作为优选，所述异构算力集群元数据包括异构算力集群名称、异构算力集群创建时间、异构算力集群失效时间、异构算力集群标签和异构算力集群注解；所述异构算力集群资源数据包括异构算力集群唯一标识、异构算力联邦探针类型、异构算力集群管理接口、异构算力集群地域、异构算力集群分组、异构算力集群总CPU核数、异构算力集群总GPU卡数、异构算力集群总内存大小和异构算力集群节点数；所述异构算力集群状态数据包括异构算力集群管理模块版本、异构算力集群已使用CPU核数、异构算力集群已使用GPU卡数、异构算力集群已使用内存大小和异构算力集群已使用节点数。
[0010]本专利技术还公开了一种基于中心化的异构算力联邦系统的执行方法，具体包括如下步骤：A1、算力需求方通过异构算力联邦服务模块提供的统一的异构算力使用接口提交计算任务；A2、异构算力联邦服务模块将收到的计算任务提交到异构算力联邦控制模块，异构算力联邦控制模块根据计算任务的计算资源需求查询异构算力资源的统一视图，获取一个异构算力集群资源描述模型；A3、异构算力联邦服务模块根据该异构算力集群资源描述模型将计算任务转发到该异构算力集群的异构算力联邦探针模块；A4、异构算力联邦探针模块将收到的计算任务提交到异构算力集群管理模块，由异构算力集群管理模块将该计算任务分配到该异构算力集群的节点上执行该计算任务。
[0011]本专利技术的有益效果：1、提供了一种异构算力集群统一管控的方式，基于全局异构算力视图，由异构算力联邦服务模块提供了统一的管理接口，解决了不同异构算力集群使用不同的管理接口导致使用成本和管理成本较大的问题。
[0012]2、提供了一种异构算力作业统一提交的方式，由异构算力联邦探针模块适配不同
异构算力集群的作业提交模式，再由异构算力联邦服务模块提供统一的作业接口，解决了不同异构算力集群使用不同的作业接口导致的使用成本和管理成本较大的问题。
[0013]3、提供了一种异构算力统一调度的方式，由异构算力联邦控制模块统一智能化调度不同异构算力作业到不同的异构算力集群，解决了在运行异构算力作业的时候需切换到不同异构算力集群导致的使用成本较大的问题。
[0014]本专利技术的特征及优点将通过实施例结合附图进行详细说明。
附图说明
[0015]图1是本专利技术一种基于中心化的异构算力联邦系统的架构示意图；图2是本专利技术一种基于中心化的异构算力联邦系统的组网方法流程示意图；图3是本专利技术一种基于中心化的异构算力联邦系统的执行方法流程示意图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本专利技术进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0017]如图1所示，其具体架构如下：视图层：该层为异构算力联邦系统中的核心层，主要负责提供统一的算力视图和统一的管理接口，该功能主要由2个模块实现：模块一：异构算力联邦服务模块，该模块基于异构算力联邦控制模块存储的异构算力集群资源描述模型，对外提供统一的异构算力使用接口；模块二：异构算力联邦控制模块，该模块首先接收来自异构算力联邦探针模块的信息推送，填充异构算力集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中心化的异构算力联邦系统，其特征在于：包括视图层和资源层，所述视图层内设有异构算力联邦服务模块和异构算力联邦控制模块；所述异构算力联邦服务模块基于异构算力联邦控制模块存储的异构算力集群资源描述模型，对外提供统一的异构算力使用接口；所述异构算力联邦控制模块接收来自异构算力联邦探针模块的信息推送，填充异构算力集群资源描述模型，形成异构算力资源的统一视图；接收来自异构算力联邦服务模块的异构算力使用请求，并根据异构算力资源的统一视图将异构算力使用请求转发到异构算力联邦探针模块；所述资源层内设有异构算力联邦探针模块和异构算力集群管理模块；所述异构算力联邦探针模块基于从异构算力管理模块获取的异构算力集群资源信息，并将其转换为异构算力集群资源描述模型的属性，最后将异构算力集群资源描述模型上报给异构算力联邦控制模块；所述异构算力集群管理模块由异构算力集群自行定义，针对不同的异构算力集群存在不同类型的异构算力集群管理模块，不同的异构算力集群管理模块之间的差异性由异构算力联邦探针模块分别适配解决。2.如权利要求1所述的一种基于中心化的异构算力联邦系统，其特征在于：所述异构算力联邦服务模块以API业务网关的方式对外提供HTTP接口。3.如权利要求1所述的一种基于中心化的异构算力联邦系统，其特征在于：所述异构算力联邦控制模块包括计算机构和存储架构，所述计算架构采用SpringMVC技术提供HTTP接口，包括作业创建接口、查询作业列表接口、查询作业详情接口、删除作业接口、申请集群资源接口、释放集群资源接口、添加集群信息接口、更新集群信息接口和删除集群信息接口；所述存储架构采用MySQL数据库以表的形式存储，包括作业表、集群资源表和集群资源使用记录表。4.一种基于中心化的异构算力联邦系统的组网方法，其特征在于，具体包括如下步骤：S1、在异构算力集群管理模块中部署适配该异构算力集群管理模块的异构算力联邦探针模块，使异构算力联邦探针模块与异构算力集群管理模块进行通信，获取该异构算力集群的资源信息，同时异构算力联邦探针模块能够与异构算力联邦控制模块进行通信，上报异构算力集群资...

【专利技术属性】
技术研发人员：朱世强，潘爱民，林露，高翔，
申请(专利权)人：之江实验室，
类型：发明
国别省市：