算力资源调度的方法和系统技术方案

本发明专利技术公开了算力资源调度的方法和系统，属于电数字数据处理技术领域，所述方法包括以下步骤：响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。对边缘侧的算力资源进行统一管理，提供资源使用效率，降低企业成本；不需要指定算力资源的类型和位置，根据业务请求的算力资源需求量，将相应的计算任务和应用容器调度到目标边缘节点进行执行，实现对边缘侧算力资源的管理和调度，提高了算力资源的使用率，降低使用成本，提高应用的开发效率。提高应用的开发效率。提高应用的开发效率。

【技术实现步骤摘要】
算力资源调度的方法和系统


[0001]本专利技术涉及电数字数据处理
，具体涉及算力资源调度的方法和系统。

技术介绍

[0002]当下，人工智能已成为战略性技术之一，不仅是技术创新，更是推动经济发展、社会进步、行业创新的重要驱动力。作为人工智能市场中的重要组成，以GPU、NPU、FPGA等为主的算力资源也随之蓬勃发展，各种类型、各种型号的AI算力资源层出不穷，此外，越来越多的算力分布在边缘测，分布在多个边缘测的算力资源形成异构算力资源。如何实现各种类型的异构算力资源的统一管理和高效调度一直是学术界和工业界研究的热点。
[0003]由于缺乏高效经济的异构算力管理和调度解决方案，大部分企业只能独占式地使用昂贵的AI算力资源，带来居高不下的AI算力使用成本；而分布在边缘侧的大量算力资源不能被管理和有效使用，造成严重的资源浪费。另外，异构算力资源的边缘侧部署有多种硬件，用户在设计支应时，需要考虑每一种硬件支持，用户不得不修改AI应用以适应不同厂商的AI算力硬件。这加剧AI应用开发部署复杂性、提高AI算力投入成本。

技术实现思路

[0004]针对现有技术中存在的上述技术问题，本专利技术提供算力资源调度的方法和系统，实现对边缘侧算力资源的管理和调度，提高算力资源的使用率，降低使用成本。
[0005]本专利技术公开了一种算力资源调度的方法，包括以下步骤：响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
[0006]进一步的，算力资源的管理方法：获得边缘节点的物理资源；根据所述物理资源，建立逻辑资源、以及物理资源和逻辑资源的映射；将所述逻辑资源上传到云端；对算力资源进行单位量化，所述算力资源包括算力和内存。
[0007]进一步的，获得算力资源分配指令的方法包括：响应于业务请求，将业务请求进行解析，获得一个或多个计算任务；根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；根据所述算力资源的类型获得应用容器部署信息，所述应用容器部署信息包括适应算力资源的容器镜像。
[0008]进一步的，分配边缘节点的方法包括：获得所述计算任务的算力资源需求；获得满足所述算力资源需求的边缘节点列表；基于算力资源剩余量和/或网络情况，从所述边缘节点列表中选取目标边缘节点。
[0009]进一步的，所述容器部署信息还包括应用容器的守护程序的镜像，拉起所述容器或容器组的方法包括：为所述应用容器或容器组注入边车；根据所述守护程序的镜像，启动守护程序；通
过所述守护程序拉起应用容器或容器组。进一步的，边缘节点自治的方法；在所述目标边缘节点中建立持久数据库，所述持久数据库用于保存由云端接收到的元数据，所述元数据用于支撑应用容器的运行。
[0010]进一步的，多应用并行调度的方法：将目标边缘节点的物理资源切片为第一逻辑资源和第二逻辑资源，将第一应用容器和第二应用容器调度到目标边缘节点；根据第一应用容器和第二应用容器的算力需求，为所述第一应用容器和第二应用容器分别分配第一逻辑资源和第二逻辑资源；分别为所述第一应用容器和第二应用容器挂载相应物理资源的驱动文件；所述第一应用容器利用第一逻辑资源相应的物理资源切片执行相应的计算任务，所述第二应用容器利用第二逻辑资源相应的物理资源切片执行计算任务；基于以下任一虚拟化技术方案进行第一应用容器和第二应用容器的隔离：vCUDA、CANN、vGPU和cGPU；对所述边缘节点的物理资源使用情况、以及第一应用容器和第二应用容器的物理资源使用情况进行监控。
[0011]基于云端的算力资源调度方法，其特征在于，包括以下步骤：响应于业务请求，对业务请求进行解析，获得一个或多个计算任务；根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；根据所述计算任务生成应用容器的部署信息；根据所分配的算力资源的逻辑资源和应用容器的部署信息，向目标边缘节点发送算力资源分配指令；并向目标边缘节点发送以下挂载指令：通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中；根据所述分配算力资源的类型向目标边缘节点发送应用容器的守护程序的镜像。
[0012]本专利技术还提供一种用于实现上述方法的系统，包括第一传输模块和容器管理模块，所述第一传输模块用于接收云端的算力资源分配指令，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；所述容器管理模块用于在目标边缘节点中建立应用容器及其边车，通过边车获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
[0013]所述第一传输模块和容器管理模块部署在目标边缘节点，所述目标边缘节点还部署有算力管理模块，所述算力管理模块用于物理资源的发现和注册，物理资源和逻辑资源的映射管理，调度vCuda、CANN实现每个应用容器算力资源的隔离和限制，以及监控每个物理资源的使用情况和每个应用容器使用的物理资源量；云端部署有第二传输模块、调度模块和算力控制模块，所述第二传输模块用于与边缘节点交互，所述调度模块用于目标边缘节点和算力资源的分配；所述算力控制模块用于对算力资源进行量化，用于守护程序镜像地址的下发，以及将连车注入到容器组，将容器组的配置信息下发给目标边缘节点。
[0014]与现有技术相比，本专利技术的有益效果为：对边缘侧的算力资源进行统一管理，提供
资源使用效率，降低企业成本；不需要指定算力资源的类型和位置，根据业务请求的算力资源需求量，将相应的计算任务和应用容器调度到目标边缘节点进行执行，实现对边缘侧算力资源的管理和调度，提高了算力资源的使用率，降低使用成本，提高应用的开发效率。
附图说明
[0015]图1是本专利技术的算力资源调度方法流程图；图2是本专利技术的算力系统的逻辑框图。
具体实施方式
[0016]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]下面结合附图对本专利技术做进一步的详细描述：一种基于云边协同的算力资源调度的方法，如图1所示，包括以下步骤：步骤101：响应于业务请求，对业务请求进行解析和拆分，获得一个或多个计算任务。每个计算任务具有一定的算力资源需求。
[0018]步骤102：根据所述计算任务的算力资源需求和集群的剩余算力资源，分配目标边缘节点及其算力资源。
[0019]步骤103：根据所述计算任务，生成应用容器的部署信息。所述部署信息包括守护程序的镜像地址和应用容器的配置信息。
[0020]步骤104：根据所分配的算力资源和应用容器的部署信息，向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算力资源调度的方法，其特征在于，包括以下步骤：响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。2.根据权利要求1所述的方法，其特征在于，算力资源的管理方法：获得边缘节点的物理资源；根据所述物理资源，建立逻辑资源、以及物理资源和逻辑资源的映射；将所述逻辑资源上传到云端；对算力资源进行单位量化，所述算力资源包括算力和内存。3.根据权利要求1所述的方法，其特征在于，获得算力资源分配指令的方法包括：响应于业务请求，将业务请求进行解析，获得一个或多个计算任务；根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；根据所述算力资源的类型获得应用容器部署信息，所述应用容器部署信息包括适应算力资源的容器镜像或守护程序镜像。4.根据权利要求3所述的方法，其特征在于，分配目标边缘节点的方法包括：获得所述计算任务的算力资源需求；获得满足所述算力资源需求的边缘节点列表；基于算力资源剩余量和/或网络情况，从所述边缘节点列表中选取目标边缘节点。5.根据权利要求3所述的方法，其特征在于，拉起所述容器或容器组的方法包括：为所述应用容器或容器组注入边车；根据守护程序的镜像，启动守护程序；通过所述守护程序拉起应用容器或容器组。6.根据权利要求1所述的方法，其特征在于，还包括边缘节点自治的方法；在所述目标边缘节点中建立持久数据库，所述持久数据库用于保存由云端接收到的元数据，所述元数据用于支撑应用容器的运行。7.根据权利要求1所述的方法，其特征在于，多应用并行调度的方法包括：将目标边缘节点的物理资源切片为第一逻辑资源和第二逻辑资源，将第一应用容器和第二应用容器调度到目标边缘节点；根据第一应用容器和第二应用容器的算力需求，为所述第一应用容器和第二应用容器分别分配第一逻辑资源和第二逻辑资源；分别为所述第一应用容器和第二应用容器挂载相应物理资源的驱动文件；所述第一应用容器利用第一逻辑资源相应的物理资源切片执行相应的计算任...

【专利技术属性】
技术研发人员：王羽中，蒋咪，陈雪儿，才振功，吉梁茜，王翱宇，
申请(专利权)人：杭州谐云科技有限公司，
类型：发明
国别省市：