【技术实现步骤摘要】
一种面向多重异构环境下AI推理任务调度的方法及系统
[0001]本专利技术涉及边缘计算操作系统
,尤其涉及一种面向多重异构环境下AI推理任务调度的方法及系统。
技术介绍
[0002]随着AI+IoT(物联网)技术加速融合,应用场景在不断细化,对AI芯片及硬件产品的个性化需求也在增加,丰富的硬件满足了用户的多样化需求的同时,给硬件适配增加了一定的难度。目前的边缘计算尚没有一套成熟的技术体系,其中边缘设备异构严重,缺乏统一的标准和规范,面对多元化的芯片和硬件市场,如何完成国产化边缘硬件的适配成为应用落地的重点及难点。
[0003]在CN113687913A《一种面向边缘计算异构环境的轻量级应用适配方法》中提供了“一种面向边缘计算异构环境的轻量级应用适配方法。该面向边缘计算异构环境的轻量级应用适配方法,结合交叉编译技术和虚拟化技术构建自动化流水线驱动的集成开发环境,封装不同硬件环境的编译器,使用容器化交叉编译环境将编译过程中的不同步骤和任务自动串联起来,为异构环境提供统一的工作流框架,将需编译的代码与编译工具使用容器持久化的手段结合到一起,容器自动运行编译流水线最终生成各异构环境的可执行程序”,该面向边缘计算异构环境的轻量级应用适配方法,能够方便的构建跨异构环境的边缘计算应用,适配各种边缘计算操作系统环境,并支持异构CPU环境。解决了在异构环境下需要重复编译应用的问题,但所述系统为容器自动运行编译流水线最终生成各异构环境的可执行程序,流水线是将源代码转换为可发布产品的多个不同的任务和作业,通常串联成一个软件“ ...
【技术保护点】
【技术特征摘要】
1.一种面向多重异构环境下AI推理任务调度的方法,其特征在于,具体包括以下步骤:通过交叉编译技术构建多重异构边缘节点的容器化服务运行环境;通过基于Kubernetes的插件方式及云原生流程化编排构建云边融合的边缘计算服务,检测边缘节点并获得边缘节点的运行指标;对边缘节点正在运行的AI推理任务进行评估,依据所述运行指标计算边缘节点的算力占用率,当边缘节点的算力占用率超过预设阈值时,标记此AI推理任务为需调度状态,通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源。2.根据权利要求1所述的一种面向多重异构环境下AI推理任务调度的方法,其特征在于,所述构建多重异构边缘节点的容器化服务运行环境具体步骤为:针对边缘设备的多操作系统、多CPU架构及多芯片类型,梳理相应的构建基础依赖包、异构环境依赖字典库,通过定制适配各服务器的硬件驱动程序,结合CPU架构类型整合对应的交叉编译工具链,构建对应环境的交叉编译环境,生成不同信创环境下的构建机;针对边缘设备对应的操作系统、CPU架构、芯片类型、编译工具及相关版本信息,选择对应的信创环境构建机构建docker环境部署包及Kubernetes运行环境部署包;以docker和Kubernetes为底座,通过“系列型号产品+处理器架构+国产操作系统+Kubernetes”模式构建容器化运行环境。3.根据权利要求1所述的一种面向多重异构环境下AI推理任务调度的方法,其特征在于,所述构建云边融合的边缘计算服务具体步骤包括:基于Kubernetes设备插件机制,定制边缘设备硬件插件,结合配置项目信息,对服务进行打包生成运行程序包,其中,生成模式可为kube模式或进程模式,kube模式为通过容器镜像的模式生成,进程模式通过二进制程序包的方式提供;基于云原生架构实现云中心管理服务,结合定制边缘设备类型,选择对应的边缘节点服务运行环境及运行程序包,分发对应的边缘设备并安装对应的环境部署包,在云中心管理服务完成边缘节点的创建;云中心管理服务通过Kubernetes完成对所有资源的管理,通过基于Kubernetes设备插件化模式实现边缘设备的基础能力,构建边缘应用,在边缘节点实现除基础能力外的特定功能,实现边缘管理和边缘应用编排,完成云边融合的边缘计算服务的构建。4.根据权利要求1所述一种面向多重异构环境下AI推理任务调度的方法,其特征在于,所述计算边缘节点的算力占用率具体公式为:算力占用率=权重1
ⅹ
CPU使用率+权重2
ⅹ
内存使用率+权重3
ⅹ
GPU使用率+权重4
ⅹ
磁盘使用率。5.根据权利要求1所述一种面向多重异构环境下AI推理任务调度的方法,其特征在于,所述通过调度策略将处于需调度状态的AI推理任务调度到相应的算力资源具体为:通过云边融合的边缘计算服务,获得边缘节点的运行指标,对算力占用率较低的边缘节点的运行指标根据调度策略配置优先级,其中,调度策略包括Deployment或RC全自动调度方式、NodeSelector定向调度、NodeAffinity Node亲和性调度、PodAffinity Pod亲和与互斥调度,根据需调度的AI推理任务所在节点的运行指标进行预选,排除运行指标不相同的节点,在剩余节点中选择优先级最高的节点自动调度需调度的AI推理任务,其中,若这类节点多于1个时,则进行随机选择...
【专利技术属性】
技术研发人员:李建华,梁懿,苏江文,王秋琳,宋立华,吴佩颖,
申请(专利权)人:国网信息通信产业集团有限公司国网信通亿力科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。