【技术实现步骤摘要】
本申请涉及算力网络，尤其涉及一种算力资源调度方法、装置、终端设备以及存储介质。
技术介绍
1、随着人工智能技术的快速发展，ai芯片作为支撑深度学习、机器学习等算法的核心硬件，其重要性日益凸显。为了优化ai芯片的使用效率，降低硬件成本，并提高在人工智能场景下应用的执行性能，ai芯片虚拟化算力调度技术可以通过虚拟化技术将物理的ai芯片资源进行抽象和整合，从而实现对资源的灵活、高效的管理和调度。
2、目前主流的ai芯片虚拟化算力调度技术方案主要是围绕英伟达gpu(graphicsprocessing unit，图形处理器)技术生态设计。在国产化浪潮的背景下，随着国产ai芯片的使用数量及场景越来越多，如何通过ai芯片虚拟化调度来提高国产化ai芯片如华为昇腾npu(neural processing unit，神经网络处理器)芯片的资源使用率，是一个亟待解决的问题。
3、然而现有的针对国产化ai芯片的ai芯片虚拟化算力调度技术在人工智能场景下应用时，不进行算力虚拟化或者进行静态虚拟化，无法适用于大规模的ai芯片算力调度，对接入的ai芯片的算力资源使用率低。
技术实现思路
1、本申请的主要目的在于提供一种算力资源调度方法、装置、终端设备以及存储介质，旨在解决现有算力资源调度技术存在的对接入的ai芯片的算力资源使用率低的技术问题。
2、为实现上述目的，本申请提供一种算力资源调度方法，所述算力资源调度方法应用于服务器，所述服务器上部署有kubernetes集群，
3、接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配；
4、基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收。
5、可选地，所述服务器与昇腾npu芯片连接，所述kubernetes集群配置有资源配额服务，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配的步骤之前，还包括：
6、接入昇腾npu芯片的算力资源，并基于所述算力资源在kubernetes集群中创建算力资源集群；
7、基于所述算力资源集群，通过资源配额服务定义不同命名空间下的资源配额约束；
8、基于所述资源配额约束，建立controller机制和webhook机制，实现对不同命名空间下资源的配额管理。
9、可选地，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配的步骤，包括：
10、接收用户发起的资源应用请求；
11、基于预设资源调度策略，对所述应用请求进行资源调度，生成资源调度请求；
12、基于所述资源调度请求，调用预先创建的webhook机制对相关算力资源进行检验，生成检验结果；
13、基于所述检验结果，确认是否对kubernetes集群的相关算力资源进行调度。
14、可选地，所述kubernetes集群配置有hpa控制器，所述基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收的步骤，包括：
15、调用hpa控制器结合预先创建的controller机制监控不同命名空间下的算力资源的使用情况；
16、基于预设动态扩缩容策略与所述算力资源的使用情况，对相关算力资源进行动态分配和回收。
17、可选地，所述kubernetes集群配置有hpa控制器，所述基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收的步骤，还包括：
18、按照预设时间周期进行调用hpa控制器；
19、结合预先创建的controller机制，基于预设动态扩缩容策略，对相关算力资源进行动态分配和回收。
20、可选地，所述基于所述检验结果，确认是否对kubernetes集群的相关算力资源进行调度的步骤，包括：
21、若所述检验结果是所述资源调度请求满足所述资源配额约束，则对kubernetes集群的相关算力资源进行调度；
22、若所述检验结果是所述资源调度请求不满足所述资源配额约束，则通过所述webhook机制对所述资源调度请求进行拦截，并报错给用户。
23、可选地，所述若所述检验结果是所述资源调度请求满足所述资源配额约束，则对kubernetes集群的相关算力资源进行调度的步骤之后，还包括：
24、调用所述controller机制，基于预设规则更新不同命名空间下的算力资源的使用情况。
25、此外，为实现上述目的，本申请还提供一种算力资源调度装置，所述算力资源调度装置包括：
26、资源调度分配模块，用于接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配；
27、动态扩缩容模块，用于基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收。
28、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的算力资源调度程序，所述算力资源调度程序被所述处理器执行时实现如上所述的算力资源调度方法的步骤。
29、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有算力资源调度程序，所述算力资源调度程序被处理器执行时实现如上所述的算力资源调度方法的步骤。
30、本申请实施例提出的一种算力资源调度方法、装置、终端设备以及存储介质，通过接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配；基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收。
31、本申请通过整合芯片算力调度组件，以及kubernetes设计规范，对ai芯片尤其是昇腾npu芯片进行动态切分，实现了不同规格ai算力资源的动态分配和回收，满足多用户动态申请、释放ai算力资源的需求，可以提高对ai芯片的算力调度效率，进而有效提高对接入的ai芯片的算力资源使用率。
本文档来自技高网...【技术保护点】
1.一种算力资源调度方法，其特征在于，所述算力资源调度方法应用于服务器，所述服务器上部署有Kubernetes集群，所述算力资源调度方法包括：
2.如权利要求1所述的算力资源调度方法，其特征在于，所述服务器与昇腾NPU芯片连接，所述Kubernetes集群配置有资源配额服务，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行Kubernetes集群资源调度分配的步骤之前，还包括：
3.如权利要求2所述的算力资源调度方法，其特征在于，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行Kubernetes集群资源调度分配的步骤，包括：
4.如权利要求2所述的算力资源调度方法，其特征在于，所述Kubernetes集群配置有HPA控制器，所述基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收的步骤，包括：
5.如权利要求2所述的算力资源调度方法，其特征在于，所述Kubernetes集群配置有HPA控
6.如权利要求3所述的算力资源调度方法，其特征在于，所述基于所述检验结果，确认是否对Kubernetes集群的相关算力资源进行调度的步骤，包括：
7.根据权利要求6中所述的算力资源调度方法，其特征在于，所述若所述检验结果是所述资源调度请求满足所述资源配额约束，则对Kubernetes集群的相关算力资源进行调度的步骤之后，还包括：
8.一种算力资源调度装置，其特征在于，所述算力资源调度装置包括：
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的算力资源调度程序，所述算力资源调度程序配置为实现如权利要求1至7中任一项所述的算力资源调度方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有算力资源调度程序，所述算力资源调度程序被处理器执行时实现如权利要求1至7任一项所述的算力资源调度方法的步骤。
...【技术特征摘要】
1.一种算力资源调度方法，其特征在于，所述算力资源调度方法应用于服务器，所述服务器上部署有kubernetes集群，所述算力资源调度方法包括：
2.如权利要求1所述的算力资源调度方法，其特征在于，所述服务器与昇腾npu芯片连接，所述kubernetes集群配置有资源配额服务，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配的步骤之前，还包括：
3.如权利要求2所述的算力资源调度方法，其特征在于，所述接收用户的资源应用请求，基于预设资源调度策略结合预先创建的webhook机制，对所述应用请求进行kubernetes集群资源调度分配的步骤，包括：
4.如权利要求2所述的算力资源调度方法，其特征在于，所述kubernetes集群配置有hpa控制器，所述基于预设动态扩缩容策略，结合预先创建的controller机制对相关算力资源进行动态分配和回收的步骤，包括：
5.如权利要求2所述的算力资源调度方法，其特征在于，所述kubernetes集群配...
【专利技术属性】
技术研发人员：张伟，田永江，吴酋珉，王曦，杨绍槐，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。