一种实现kubernetes容器远程调度使用GPU方法和装置制造方法及图纸

本发明专利技术涉及RPC通信技术领域，具体为一种实现kubernetes容器远程调度使用GPU方法和装置，包括以下步骤：部署Kubernetes集群，使用“kubectl label node”为GPU节点和非GPU节点打标签；在非GPU节点上部署官方的CUDA Runtime API；在GPU节点上部署官方的GPU Driver API，即GPU驱动；在非GPU节点上部署远程CUDA调用的客户端服务组件；有益效果为：本发明专利技术提出的实现kubernetes容器远程调度使用GPU方法和装置通过虚拟化技术在没有物理GPU的节点上创建虚拟GPU设备，并将它们注册到Kubernetes节点上，使得Kubernetes可以将需要GPU资源的容器调度到没有物理GPU的节点上，并将它们绑定到虚拟GPU设备，从而实现GPU资源的共享，提升GPU的利用率，降低硬件和软件成本。降低硬件和软件成本。降低硬件和软件成本。

【技术实现步骤摘要】
一种实现kubernetes容器远程调度使用GPU方法和装置


[0001]本专利技术涉及RPC通信
，具体为一种实现kubernetes容器远程调度使用GPU方法和装置。

技术介绍

[0002]Kubernetes，简称K8s。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署，规划，更新，维护的一种机制。
[0003]现有技术中，在Kubernetes中，一方面，用户只能使用本节点上的GPU设备资源，而GPU节点的数量有限，且部署和管理GPU节点也需要一定的成本和技术，这限制了容器的灵活性和可移植性；另一方面，GPU资源的利用率也不高，有些节点上的GPU资源可能处于闲置状态，浪费许多未使用的GPU资源。

技术实现思路

[0004]本专利技术的目的在于提供一种实现kubernetes容器远程调度使用GPU方法和装置，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现kubernetes容器远程调度使用GPU方法，其特征在于：所述远程调度使用GPU方法包括以下步骤：部署Kubernetes集群，使用“kubectl label node”为GPU节点和非GPU节点打标签；在非GPU节点上部署官方的CUDA Runtime API；在GPU节点上部署官方的GPU Driver API，即GPU驱动；在非GPU节点上部署远程CUDA调用的客户端服务组件；在GPU节点上部署远程CUDA调用的服务端服务组件；在Kubernetes创建一个使用GPU资源的Deployment，配置调度参数，将Pod创建到没有GPU资源节点；在Kubernetes平台观察Pod的运行状态，进入Pod观测业务正常运行，确认GPU资源正常调用。2.根据权利要求1所述的一种实现kubernetes容器远程调度使用GPU方法，其特征在于：为GPU节点和非GPU节点打标签时，在Kubernetes集群中，将GPU节点和非GPU节点分别标记为“GPU”和“非GPU”。3.根据权利要求1所述的一种实现kubernetes容器远程调度使用GPU方法，其特征在于：客户端服务组件通过RPC技术实现，通过劫持CUDA API来截获Pod中CUDA应用程序对GPU的访问，并将访问通过TCP/IP网络或者RDMA网络转发到部署了远程CUDA调用的服务端的具有GPU资源的节点上。4.根据权利要求1所述的一种实现kubernetes容器远程调度使用GPU方法，其特征在于：服务端服务组件通过接收客户端发送的CUDA调用请求，并将请求转发到GPU设备上执行，并将结果返回给客户端。5.根据权利要求1所述的一种实现kubernetes容器远程调度使用GPU方法，其特征在于：在Kubernetes平台观察Po...

【专利技术属性】
技术研发人员：薛少宁，
申请(专利权)人：浪潮通信技术有限公司，
类型：发明
国别省市：