GPU虚拟化部署方法、系统、计算机设备和存储介质技术方案

本发明专利技术涉及人工智能技术领域，具体涉及GPU虚拟化部署方法、系统、计算机设备和存储介质。该方法基于在线部署系统中的配置页面获取用户选择数据，生成容器部署指令；Kubernete通过服务器标签识别GPU集群，通过GPU虚拟化调度器，选择空闲的服务器，发送所述容器部署指令；Kubernete根据用户选择数据的GPU配置，通过虚拟化插件从物理GPU中分割出用户所需的虚拟化GPU资源；GPU资源分配完毕后，启动容器，并在容器启动后执行用户所选的启动脚本。本发明专利技术通过GPU虚拟化技术对服务器GPU资源进行资源分割，避免Kubernete在容器部署时独占一整块GPU显卡资源而导致资源浪费，可以充分利用服务器GPU资源，达到一张物理GPU显卡，可以同时部署多个模型应用的目的。多个模型应用的目的。多个模型应用的目的。

【技术实现步骤摘要】
GPU虚拟化部署方法、系统、计算机设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种GPU虚拟化部署方法、系统、计算机设备和存储介质。

技术介绍

[0002]虚拟化容器技术使用很广泛，目前，很多深度学习领域中的模型部署与训练广泛使用docker容器进行部署，使用容器部署的好处是容器所使用的镜像文件，可以快速还原部署所需的环境，实现镜像一次生成，到处部署。
[0003]随着模型应用增多，docker容器也会相应增加，这样会不利于对docker容器的管理，因此，就需要借助容器编排技术实现对docker容器的统一管理和自动化部署。目前成熟的容器编排框架Kubernetes可实现对docker容器进行自动化管理，开发人员只需要通过简单的配置，就可以实现容器部署和资源的控制。
[0004]但是在使用Kubernetes对模型进行部署的时候，CPU和内存资源可以配置选择所需要的核心数和内存大小，GPU却无法进行内存和算力分割，导致在启动模型应用的时候会浪费一部分GPU算力和GPU内存。
[0005]而中国专利C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU虚拟化部署方法，其特征在于，该方法包括以下步骤：基于在线部署系统中的配置页面获取用户选择数据，生成容器部署指令；Kubernete通过服务器标签识别GPU集群，通过GPU虚拟化调度器，选择空闲的服务器，发送所述容器部署指令；Kubernete根据用户选择数据的GPU配置，通过虚拟化插件从物理GPU中分割出用户所需的虚拟化GPU资源；GPU资源分配完毕后，启动容器，并在容器启动后执行用户所选的启动脚本。2.根据权利要求1所述的GPU虚拟化部署方法，其特征在于，所述在线部署系统用于镜像上传管理、模型管理以及算法管理，所述在线部署系统的配置页面上设置有镜像上传管理、模型管理以及算法管理的操作选项。3.根据权利要求2所述的GPU虚拟化部署方法，其特征在于，基于在线部署系统中的配置页面获取用户选择数据，包括：基于在线部署系统中的配置页面获取用户选择的模型和部署镜像，进行环境部署，并获取用户选择上传的部署环境的镜像文件。4.根据权利要求3所述的GPU虚拟化部署方法，其特征在于，所述在线部署系统的配置页面还用于获取用户选择的容器内应用，并启动脚本文件取。5.根据权利要求3所述的GPU虚拟化部署方法，其特征在于，所述基于在线部署系统中的配置页面获取用户选择数据，还包括获取用户选择所需要的配置参数，所述配置参数包括内存大小、GPU个数以及磁盘空间。6.根据权利要求1所述的GPU虚拟化部署方法，其特征在于，所述GPU虚拟化部署方法，还包括基于用户选择的配置参数提交部署请求，在线部署系统通过用户配置生成Kubernete所需的脚本文件，提交给Ku...

【专利技术属性】
技术研发人员：蔡永维，毕旭东，何旭帅，
申请(专利权)人：中化现代农业有限公司，
类型：发明
国别省市：