本发明专利技术涉及云计算领域,具体提供了一种异构算力资源管理方法,具有如下步骤:S1、算力平台实现统一的边缘侧资源调度管理;S2、算力集群通过插件技术管理异构资源;S3、在算力应用匹配和算力节点调度上,基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制;S4、在创建K3S集群时,为算力节点统一进行命名规则;S5、面向异构算力基于底层适配层的接入,提供统一的异构算力资源抽象模型;S6、算力Agent周期性的采集上报各个算力集群的算力度量信息;S7、算力调度器根据应用的资源需求匹配最佳的异构算力资源分配;S8、算力度量模块收集系统内各节点的异构算力资源数量。与现有技术相比,本发明专利技术满足不通应用对不通硬件资源的定制化需求。资源的定制化需求。资源的定制化需求。
【技术实现步骤摘要】
一种异构算力资源管理方法及装置
[0001]本专利技术涉及云计算领域,具体提供一种异构算力资源管理方法及装置。
技术介绍
[0002]现有的云计算发展方向包括两个方面:一方面沿着传统的技术路线发展,采用资源集约化的方式着重建设大规模和超大规模数据中心,并且由数据中心统一提供IT资源;另一方面的云计算发展路线则是着重研究面向异构云计算资源进行协同和纳管,其中多云管理目前是这种云计算技术发展方向的代表。
[0003]而随着5G技术的发展,边缘计算成为了信息
和通信
相互结合的热点。和传统的云计算发展路线不同,边缘计算主要研究如何更好地将外围或者边缘资源有效的进行管理,这就为边缘计算的研究提出了挑战。一方面,因为边缘资源更靠近用户侧,要求更低的用户访问时延;另一方面,边缘计算设备数量众多,而且存在计算架构差异性等问题,如何实现对海量的异构边缘计算资源的统一管理等也是一种挑战。
[0004]另外,由于边缘计算节点分布比较广泛,计算节点之间的协同和资源的调度相比于传统的云计算对于网络的要求更高,因此边缘计算的研究除了传统的计算、存储等虚拟化技术的研究外,需要更加关注如何实现网络和边缘计算的协同,从传统的云网融合向算网融合的方向发展。
技术实现思路
[0005]本专利技术是针对上述现有技术的不足,提供一种实用性强的异构算力资源管理方法。
[0006]本专利技术进一步的技术任务是提供一种设计合理,安全适用的异构算力资源管理装置。
[0007]本专利技术解决其技术问题所采用的技术方案是:
[0008]一种异构算力资源管理方法,具有如下步骤:
[0009]S1、算力平台基于kubernetes和k3s两级联动的架构来实现统一的边缘侧资源调度管理;
[0010]S2、算力集群通过插件技术管理异构资源;
[0011]S3、在算力应用匹配和算力节点调度上,基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制;
[0012]S4、在创建K3S集群时,为算力节点统一进行命名规则;
[0013]S5、面向异构算力基于底层适配层的接入,算力网络基于自定义资源模型,提供统一的异构算力资源抽象模型;
[0014]S6、每个K3S集群部署算力Agent,算力Agent周期性的采集上报各个算力集群的算力度量信息;
[0015]S7、算力调度器根据应用的资源需求匹配最佳的异构算力资源分配;
[0016]S8、算力度量模块收集系统内各节点的异构算力资源数量,感知硬件拓扑及运行健康变化,反馈到算力调度器用于匹配作业的资源需求。
[0017]进一步的,在步骤S1中,底层嵌入式终端集群的注册和管理统一多集群调度管理,而前端嵌入式终端集群则采用轻量级的K3S云原生平台实现资源管理。
[0018]进一步的,在步骤S2中,ASIC专用芯片采用MCU+专用芯片的SOC方式进行构建,采用ARM作为MCU,具体负责整个设备的系统管理、外部通信以及访问。
[0019]进一步的,在步骤S3中,在算力应用匹配和算力节点调度方面,基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制,通过为前端嵌入式设备在注册到K3S集群时,为设备创建自定义节点标签,同时在创建POD时可以通过节点自定义标签将POD部署到指定的边缘节点上运行。
[0020]进一步的,在步骤S4中,在创建K3S集群时,为算力节点统一进行命名规则,而算力节点的标签命名统一由设备管理模块进行管理,并且维护整个集群中设备节点的基本信息;
[0021]在创建容器时根据应用场景和用户需求的不同,通过在设备管理模块中查询匹配的计算节点,并且在创建容器的配置文件中进行指定,从而使得资源调度平台为容器应用分配合适的计算节点。
[0022]进一步的,在步骤S5中,面向异构算力基于底层适配层的接入,算力网络基于自定义资源模型,提供统一的异构算力资源抽象模型,基于现有的算力采集上报和多厂商异构算力接入适配层的统一数据模型,将上报的算力资源数据模型划分为不同的数据域;
[0023]基于自定义扩展统一资源模型,在多厂家异构算力接入过程中,实现统一的算力资源上报和数据采集,并且通过统一的数据模型建立算力资源统一标识。
[0024]进一步的,在步骤S6中,每个K3S集群部署算力Agent,算力Agent周期性的采集上报各个算力集群的算力度量信息,异构算力的可用数量,异构算力资源的健康状态,硬件资源的拓扑信息,异构资源的统一标识模型,算力网络调度器标记不同算力集群的动态算力度量信息。
[0025]进一步的,在步骤S7中,算力调度器根据应用的资源需求匹配最佳的异构算力资源分配,应用获取可使用资源的调度过程分为作业排队和资源分配两个阶段,其中,作业排队用于决定当前优先获得调度资格的作业序列顺序;
[0026]资源分配的复杂度受系统的可选择节点数量、异构算力的资源维度、作业的资源需求复杂度影响;
[0027]算力调度器配置不同的调度策略,根据调度器系统所服务的应用场景配置作业调度各阶段的策略启用行为,满足目标应用的异构算力资源调度需求;提供对租户面的资源配额、运行限制的多维度层次化管理配置能力。
[0028]进一步的,在步骤S8中,算力度量模块收集系统内各节点的异构算力资源数量,感知硬件拓扑及运行健康变化,反馈到算力调度器用于匹配作业的资源需求,从而完成应用需求和资源绑定的过程。
[0029]一种异构算力资源管理装置,包括:至少一个存储器和至少一个处理器;
[0030]所述至少一个存储器,用于存储机器可读程序;
[0031]所述至少一个处理器,用于调用所述机器可读程序,执行一种异构算力资源管理
方法。
[0032]本专利技术的一种异构算力资源管理方法及装置和现有技术相比,具有以下突出的有益效果:
[0033]本专利技术基于kubernetes+k3s两级联动的架构来实现统一的边缘侧资源调度管理,通过扩展device plugin和扩展k8s scheduler来管理各个异构设备。基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制,再结合硬件设备提供的驱动和适配器层来实现异构算力设备的管理和感知。基于自定义扩展统一资源模型,在多厂家异构算力接入过程中,实现统一的算力资源上报和数据采集,并且通过统一的数据模型建立算力资源统一标识。周期性上报异构资源信息,算力调度器根据应用的资源需求匹配最佳的异构算力资源分配。配置调度策略,满足不通应用对不通硬件资源的定制化需求。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0035]附图1是一种异构算力资源管理方法的流本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构算力资源管理方法,其特征在于,具有如下步骤:S1、算力平台基于kubernetes和k3s两级联动的架构来实现统一的边缘侧资源调度管理;S2、算力集群通过插件技术管理异构资源;S3、在算力应用匹配和算力节点调度上,基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制;S4、在创建K3S集群时,为算力节点统一进行命名规则;S5、面向异构算力基于底层适配层的接入,算力网络基于自定义资源模型,提供统一的异构算力资源抽象模型;S6、每个K3S集群部署算力Agent,算力Agent周期性的采集上报各个算力集群的算力度量信息;S7、算力调度器根据应用的资源需求匹配最佳的异构算力资源分配;S8、算力度量模块收集系统内各节点的异构算力资源数量,感知硬件拓扑及运行健康变化,反馈到算力调度器用于匹配作业的资源需求。2.根据权利要求1所述的一种异构算力资源管理方法,其特征在于,在步骤S1中,底层嵌入式终端集群的注册和管理统一多集群调度管理,而前端嵌入式终端集群则采用轻量级的K3S云原生平台实现资源管理。3.根据权利要求2所述的一种异构算力资源管理方法,其特征在于,在步骤S2中,ASIC专用芯片采用MCU+专用芯片的SOC方式进行构建,采用ARM作为MCU,具体负责整个设备的系统管理、外部通信以及访问。4.根据权利要求3所述的一种异构算力资源管理方法,其特征在于,在步骤S3中,在算力应用匹配和算力节点调度方面,基于自定义的Kubernetes标签来实现整个边缘侧的算力调度机制,通过为前端嵌入式设备在注册到K3S集群时,为设备创建自定义节点标签,同时在创建POD时可以通过节点自定义标签将POD部署到指定的边缘节点上运行。5.根据权利要求4所述的一种异构算力资源管理方法,其特征在于,在步骤S4中,在创建K3S集群时,为算力节点统一进行命名规则,而算力节点的标签命名统一由设备管理模块进行管理,并且维护整个集群中设备节点的基本信息;在创建容器时根据应用场景和用户需求的不同,通过在设备管理模块中查询匹配的计算节点,并且在创建容器的配置文件中...
【专利技术属性】
技术研发人员:张勇,
申请(专利权)人:山东浪潮科学研究院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。