一种基于K8s的异构加速卡的管理调度系统及方法技术方案

本发明专利技术公开了一种基于K8s的异构加速卡的管理调度系统及方法。资源发现模块用于检测异构加速卡资源信息；资源管理模块用于从接口服务获取异构加速卡资源信息，以对异构加速度卡资源信息进行管理；调度模块用于基于接口服务模块发送的资源请求向资源管理模块获取异构加速卡资源信息，根据异构加速卡资源信息确定目标加速卡，将容器集调度至目标加速卡所在的节点上以及将目标加速卡的资源信息发送至资源发现模块进行缓存；容器运行时模块用于向资源发现模块获取目标加速卡的资源信息，根据目标加速卡的资源信息在容器集中创建容器。可以降低对异构加速卡的管理及调度的复杂度。降低对异构加速卡的管理及调度的复杂度。降低对异构加速卡的管理及调度的复杂度。

【技术实现步骤摘要】
一种基于K8s的异构加速卡的管理调度系统及方法


[0001]本专利技术实施例涉及计算机
，尤其涉及一种基于K8s的异构加速卡的管理调度系统及方法。

技术介绍

[0002]随着Kubernetes(简称K8s)技术的不断普及，越来越多的厂商已经抛弃了在虚拟机或者物理机上部署应用的方式，逐渐开始采用容器技术，通过容器化的方式来降低部署或者上线应用的难度。在人工智能(Artificial Intelligence，AI)领域，大部分AI应用都需要借助于异构加速卡(简称AI加速卡)才能发挥出最大的服务能力。
[0003]随着AI加速卡的厂商及型号的不断增多，需要在K8s集群中部署针对指定厂商或型号的容器化方案、K8s插件方案、指标监控方案及资源使用接口，因此需要对一套有效的异构加速卡的管理及调度方案。

技术实现思路

[0004]本专利技术实施例提供一种基于K8s的异构加速卡的管理调度系统及方法，可以降低对异构加速卡的管理及调度的复杂度。
[0005]第一方面，本专利技术实施例提供了一种基于K8s的异构加速卡的管理调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于K8s的异构加速卡的管理调度系统，其特征在于，包括：资源发现模块、资源管理模块、调度模块、容器运行时模块及接口服务模块；其中，所述资源发现模块、所述资源管理模块及所述调度模块均与所述接口服务模块相连，所述资源发现模块与所述容器运行时模块相连，所述资源管理模块与所述调度模块相连；所述资源发现模块用于检测异构加速卡资源信息，并将所述异构加速卡资源信息发送至所述接口服务模块；其中，所述异构加速卡资源信息包括内存资源信息、计算资源信息及使用资源信息；所述资源管理模块用于从所述接口服务模块获取异构加速卡资源信息，以对所述异构加速度卡资源信息进行管理；所述调度模块用于基于所述接口服务模块发送的资源请求向所述资源管理模块获取异构加速卡资源信息，根据所述异构加速卡资源信息确定目标加速卡，将容器集调度至所述目标加速卡所在的节点上以及将所述目标加速卡的资源信息发送至所述资源发现模块进行缓存；所述容器运行时模块用于向所述资源发现模块获取所述目标加速卡的资源信息，根据所述目标加速卡的资源信息在所述容器集中创建容器，以启动所述容器集。2.根据权利要求1所述的系统，其特征在于，所述资源发现模块包括加速卡管理单元、资源上报单元、管理接口单元及加速卡服务单元；其中，所述加速卡管理单元中设置多种加速卡插件，通过所述加速卡插件获取异构加速卡资源信息；所述资源上报单元用于将所述内存资源信息及计算资源信息通过所述管理接口单元上报至所述接口服务模块；所述加速卡服务单元用于提供接口供所述容器运行时模块调用查询。3.根据权利要求1所述的系统，其特征在于，所述资源管理模块还用于对所述异构加速卡资源信息按照加速卡进行分组，获得多个加速卡组，并设置各加速卡组的组名；所述异构加速卡资源信息还包括：加速卡所在节点名称、加速卡使用状态、加速卡标识、加速卡路径、加速卡型号、加速卡所属供应商、加速卡使用模式、使用所述加速卡的容器集。4.根据权利要求3所述的系统，其特征在于，所述调度模块用于获取预设的调度条件，并基于所述...

【专利技术属性】
技术研发人员：蔚滢璐，杨超，张耒，侯雨希，
申请(专利权)人：星环信息科技上海股份有限公司，
类型：发明
国别省市：