一种面向多重异构环境下AI推理任务调度的方法及系统技术方案

本发明专利技术公开了一种面向多重异构环境下AI推理任务调度的方法与系统，采用容器化技术、边缘计算框架，完成与多种国产化边缘硬件的兼容适配，支持节点容器化、模块化配置模式，同时允许用户自定义功能模块镜像以打造独有的边缘计算，支持边缘硬件灵活配置。基于云原生为底座，通过监控技术计算算力的占用率，对AI算法任务进行评估，结合调度策略实现推理任务的合理调度。合理调度。合理调度。

【技术实现步骤摘要】
一种面向多重异构环境下AI推理任务调度的方法及系统


[0001]本专利技术涉及边缘计算操作系统
，尤其涉及一种面向多重异构环境下AI推理任务调度的方法及系统。

技术介绍

[0002]随着AI+IoT(物联网)技术加速融合，应用场景在不断细化，对AI芯片及硬件产品的个性化需求也在增加，丰富的硬件满足了用户的多样化需求的同时，给硬件适配增加了一定的难度。目前的边缘计算尚没有一套成熟的技术体系，其中边缘设备异构严重，缺乏统一的标准和规范，面对多元化的芯片和硬件市场，如何完成国产化边缘硬件的适配成为应用落地的重点及难点。
[0003]在CN113687913A《一种面向边缘计算异构环境的轻量级应用适配方法》中提供了“一种面向边缘计算异构环境的轻量级应用适配方法。该面向边缘计算异构环境的轻量级应用适配方法，结合交叉编译技术和虚拟化技术构建自动化流水线驱动的集成开发环境，封装不同硬件环境的编译器，使用容器化交叉编译环境将编译过程中的不同步骤和任务自动串联起来，为异构环境提供统一的工作流框架，将需编译的代码与编译工具使用容器持久化的手段结合到一起，容器自动运行编译流水线最终生成各异构环境的可执行程序”，该面向边缘计算异构环境的轻量级应用适配方法，能够方便的构建跨异构环境的边缘计算应用，适配各种边缘计算操作系统环境，并支持异构CPU环境。解决了在异构环境下需要重复编译应用的问题，但所述系统为容器自动运行编译流水线最终生成各异构环境的可执行程序，流水线是将源代码转换为可发布产品的多个不同的任务和作业，通常串联成一个软件“管道”，一个自动流程成功完成后会启动管道中的下一个流程。就是运行在一个的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，虽然实现了单个任务难以完成的复杂流程编排和可视化的工作，但不同任务消耗资源的波峰和波谷分布时间段差异较大，且无明显规律，若无法根据实际业务需求变化及时响应资源的调度，将导致资源的浪费。

技术实现思路

[0004]本专利技术提供了一种面向多重异构环境下AI推理任务调度的方法，具体包括以下步骤：
[0005]通过交叉编译技术构建多重异构边缘节点的容器化服务运行环境；
[0006]通过基于Kubernetes的插件方式及云原生流程化编排构建云边融合的边缘计算服务，检测边缘节点并获得边缘节点的运行指标；
[0007]对边缘节点正在运行的AI推理任务进行评估，依据所述运行指标计算边缘节点的算力占用率，当边缘节点的算力占用率超过预设阈值时，标记此AI推理任务为需调度状态，通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源。
[0008]优选的，所述构建多重异构边缘节点的容器化服务运行环境具体步骤为：
[0009]针对边缘设备的多操作系统、多CPU架构及多芯片类型，梳理相应的构建基础依赖包、异构环境依赖字典库，通过定制适配各服务器的硬件驱动程序，结合CPU架构类型整合对应的交叉编译工具链，构建对应环境的交叉编译环境，生成不同信创环境下的构建机；
[0010]针对边缘设备对应的操作系统、CPU架构、芯片类型、编译工具及相关版本信息，选择对应的信创环境构建机构建docker环境部署包及Kubernetes运行环境部署包；
[0011]以docker和Kubernetes为底座，通过“系列型号产品+处理器架构+国产操作系统+Kubernetes”模式构建容器化运行环境。
[0012]优选的，所述构建云边融合的边缘计算服务具体步骤包括：
[0013]基于Kubernetes设备插件机制，定制边缘设备硬件插件，结合配置项目信息，对服务进行打包生成运行程序包，其中，生成模式可为kube模式或进程模式，kube模式为通过容器镜像的模式生成，进程模式通过二进制程序包的方式提供；
[0014]基于云原生架构实现云中心管理服务，结合定制边缘设备类型，选择对应的边缘节点服务运行环境及运行程序包，分发对应的边缘设备并安装对应的环境部署包，在云中心管理服务完成边缘节点的创建；
[0015]云中心管理服务通过Kubernetes完成对所有资源的管理，通过基于Kubernetes设备插件化模式实现边缘设备的基础能力，构建边缘应用，在边缘节点实现除基础能力外的特定功能，实现边缘管理和边缘应用编排，完成云边融合的边缘计算服务的构建。
[0016]优选的，所述计算边缘节点的算力占用率具体公式为：
[0017]算力占用率＝权重1
ⅹ
CPU使用率+权重2
ⅹ
内存使用率+权重3
ⅹ
GPU使用率+权重4
ⅹ
磁盘使用率。
[0018]优选的，所述通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源具体为：
[0019]通过云边融合的边缘计算服务，获得边缘节点的运行指标，对算力占用率较低的边缘节点的运行指标根据调度策略配置优先级，其中，调度策略包括Deployment或RC全自动调度方式、NodeSelector定向调度、NodeAffinity Node亲和性调度、PodAffinity Pod亲和与互斥调度，根据需调度的AI推理任务所在节点的运行指标进行预选，排除运行指标不相同的节点，在剩余节点中选择优先级最高的节点自动调度需调度的AI推理任务，其中，若这类节点多于1个时，则进行随机选择。
[0020]本申请还提供了一种面向多重异构环境下AI推理任务调度的系统，所述系统以docker和Kubernetes为底座，通过“系列型号产品+处理器架构+国产操作系统+Kubernetes”模式构建容器化运行环境，为云中心和边缘设备之间的网络、应用程序部署和元数据同步提供基础架构支持，具体包括云端服务模块及边缘服务模块，其中：
[0021]所述云端服务模块通过Kubernetes实现所有资源的管理功能，可对边缘设备进行资源监控，根据调度策略对需调度AI推理任务进行调度；
[0022]所述边缘服务模块通过数据采集检测边缘节点并获得边缘节点的运行指标，依据所述运行指标对AI推理任务进行评估，计算边缘节点的算力占用率，当边缘节点的算力占用率超过预设阈值时，标记此AI推理任务为需调度状态，并将通过边缘计算服务将数据上报至云端服务模块。
[0023]优选的，构建容器化运行环境具体步骤为：
[0024]针对边缘设备的多操作系统、多CPU架构及多芯片类型，梳理相应的构建基础依赖包、异构环境依赖字典库，通过定制适配各服务器的硬件驱动程序，结合CPU架构类型整合对应的交叉编译工具链，构建对应环境的交叉编译环境，生成不同信创环境下的构建机；
[0025]针对边缘设备对应的操作系统、CPU架构、芯片类型、编译工具及相关版本信息，选择对应的信创环境构建机构建docker环境部署包及Kubernetes运行环境部署包；
[0026]以docker和Kubernetes为底座，通过“系列型号产品+处理器架构+国产操作系统+Kube本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向多重异构环境下AI推理任务调度的方法，其特征在于，具体包括以下步骤：通过交叉编译技术构建多重异构边缘节点的容器化服务运行环境；通过基于Kubernetes的插件方式及云原生流程化编排构建云边融合的边缘计算服务，检测边缘节点并获得边缘节点的运行指标；对边缘节点正在运行的AI推理任务进行评估，依据所述运行指标计算边缘节点的算力占用率，当边缘节点的算力占用率超过预设阈值时，标记此AI推理任务为需调度状态，通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源。2.根据权利要求1所述的一种面向多重异构环境下AI推理任务调度的方法，其特征在于，所述构建多重异构边缘节点的容器化服务运行环境具体步骤为：针对边缘设备的多操作系统、多CPU架构及多芯片类型，梳理相应的构建基础依赖包、异构环境依赖字典库，通过定制适配各服务器的硬件驱动程序，结合CPU架构类型整合对应的交叉编译工具链，构建对应环境的交叉编译环境，生成不同信创环境下的构建机；针对边缘设备对应的操作系统、CPU架构、芯片类型、编译工具及相关版本信息，选择对应的信创环境构建机构建docker环境部署包及Kubernetes运行环境部署包；以docker和Kubernetes为底座，通过“系列型号产品+处理器架构+国产操作系统+Kubernetes”模式构建容器化运行环境。3.根据权利要求1所述的一种面向多重异构环境下AI推理任务调度的方法，其特征在于，所述构建云边融合的边缘计算服务具体步骤包括：基于Kubernetes设备插件机制，定制边缘设备硬件插件，结合配置项目信息，对服务进行打包生成运行程序包，其中，生成模式可为kube模式或进程模式，kube模式为通过容器镜像的模式生成，进程模式通过二进制程序包的方式提供；基于云原生架构实现云中心管理服务，结合定制边缘设备类型，选择对应的边缘节点服务运行环境及运行程序包，分发对应的边缘设备并安装对应的环境部署包，在云中心管理服务完成边缘节点的创建；云中心管理服务通过Kubernetes完成对所有资源的管理，通过基于Kubernetes设备插件化模式实现边缘设备的基础能力，构建边缘应用，在边缘节点实现除基础能力外的特定功能，实现边缘管理和边缘应用编排，完成云边融合的边缘计算服务的构建。4.根据权利要求1所述一种面向多重异构环境下AI推理任务调度的方法，其特征在于，所述计算边缘节点的算力占用率具体公式为：算力占用率＝权重1
ⅹ
CPU使用率+权重2
ⅹ
内存使用率+权重3
ⅹ
GPU使用率+权重4
ⅹ
磁盘使用率。5.根据权利要求1所述一种面向多重异构环境下AI推理任务调度的方法，其特征在于，所述通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源具体为：通过云边融合的边缘计算服务，获得边缘节点的运行指标，对算力占用率较低的边缘节点的运行指标根据调度策略配置优先级，其中，调度策略包括Deployment或RC全自动调度方式、NodeSelector定向调度、NodeAffinity Node亲和性调度、PodAffinity Pod亲和与互斥调度，根据需调度的AI推理任务所在节点的运行指标进行预选，排除运行指标不相同的节点，在剩余节点中选择优先级最高的节点自动调度需调度的AI推理任务，其中，若这类节点多于1个时，则进行随机选择...

【专利技术属性】
技术研发人员：李建华，梁懿，苏江文，王秋琳，宋立华，吴佩颖，
申请(专利权)人：国网信息通信产业集团有限公司国网信通亿力科技有限责任公司，
类型：发明
国别省市：