GPU资源管理方法、装置、系统与可读存储介质制造方法及图纸

本发明专利技术公开了一种GPU资源管理方法、装置、系统与计算机可读存储介质，该方法包括：在检测到第一应用的创建指令时，创建包含第一应用的第一虚拟机，并向第一虚拟机分配GPU资源；在检测到第一虚拟机在预设周期内未接收到业务请求时，将第一虚拟机占用的GPU资源释放，使得第一虚拟机进入休眠状态。本发明专利技术通过将在预设周期内未接收到业务请求的第一应用对应的虚拟机占用的GPU资源释放，使得虚拟机进入休眠状态，进而使得其他应用的虚拟机能使用GPU资源，提高GPU资源的利用率。提高GPU资源的利用率。提高GPU资源的利用率。

GPU resource management method, device, system and readable storage medium

【技术实现步骤摘要】
GPU资源管理方法、装置、系统与可读存储介质


[0001]本专利技术涉及通讯
，尤其涉及GPU资源管理方法、装置、系统与计算机可读存储介质。

技术介绍

[0002]随着应用越来越广泛被使用，对GPU(graphics processing unit，图形处理器)资源的依赖也越来越高，目前业界主要是通过NVIDIA(英伟达)原生的驱动器和CUDA(Compute Unified Device Architecture，是NVIDIA推出的运算平台)来使用GPU资源，通常是一个应用独占一个GPU资源，或将多个应用指定共享一个GPU资源，但是，当应用没有进行工作的时候，被其占用的GPU资源无法被其他应用使用，导致GPU资源的利用率较低。
[0003]因此，如何提高GPU资源的利用率是急需解决的问题。

技术实现思路

[0004]本专利技术的主要目的在于提出一种GPU资源管理方法、装置、系统与计算机可读存储介质，旨在解决提高GPU资源的利用率的问题。
[0005]为实现上述目的，本专利技术提供一种GPU资源管理方法，所述GPU资源管理方法包括如下步骤：
[0006]在检测到第一应用的创建指令时，创建包含所述第一应用的第一虚拟机，并向所述第一虚拟机分配GPU资源；
[0007]在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态。
[0008]进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤包括：
[0009]在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移，以将所述第一GPU主机中被所述第一虚拟机的占用的GPU资源进行释放，使得所述第一虚拟机进入休眠状态。
[0010]进一步地，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移的步骤包括：
[0011]将第一虚拟机对应的第一GPU主机中存储的所述第一应用对应的数据拷贝到所述第一GPU主机的内存和系统缓存中。
[0012]进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法包括：
[0013]将所述第一虚拟机包含的所述第一应用从运行队列转移到挂起队列中，并将所述第一虚拟机释放的GPU资源分配给等待队列中的第二应用进行使用；
[0014]若接收到所述第一应用对应的业务请求时，则将所述第一应用从所述挂起队列转
移到所述等待队列中；
[0015]当所述第一应用对应的虚拟机被分配到对应的GPU资源时，将所述第一应用从所述等待队列转移到所述运行队列中，以使所述第一应用对所述业务请求进行处理。
[0016]进一步地，在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法还包括：
[0017]获取所述第一应用的应用信息，根据所述应用信息确定第二GPU主机，并在所述第二GPU主机上创建包含所述第一应用的第二虚拟机；
[0018]在检测到所述第一应用对应的业务请求时，获取的当前GPU资源剩余信息，根据所述当前GPU资源剩余信息，分别确定所述第一虚拟机对应的第一GPU主机的第一GPU剩余资源和所述第二虚拟机对应的第二GPU主机的第二GPU剩余资源；
[0019]确定所述第一应用所需的GPU资源，将所述第一GPU剩余资源和第二GPU剩余资源分别与所述第一应用所需的GPU资源进行对比，得到对比结果，并根据所述对比结果，向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源；
[0020]通过所述第一虚拟机或所述第二虚拟机处理所述第一应用对应的业务请求。
[0021]进一步地，根据所述对比结果，向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源的步骤包括：
[0022]若所述对比结果为所述第一GPU剩余资源大于所述第一应用所需的GPU资源，则通过所述第一虚拟机对应的第一GPU主机向所述第一虚拟机分配对应的GPU资源；
[0023]若所述对比结果为所述第二GPU剩余资源大于所述第一应用所需的GPU资源，则通过所述第二虚拟机对应的第二GPU主机向所述第二虚拟机分配对应的GPU资源。
[0024]进一步地，向所述第一虚拟机或所述第二虚拟机分配对应的GPU资源的步骤之后，所述GPU资源管理方法包括：
[0025]删除所述第一虚拟机或所述第二虚拟机，并记录所述第一虚拟机或第二虚拟机的最后处理所述业务请求的处理时间戳；
[0026]获取当前时间戳，并根据所述当前时间戳和所述处理时间戳，确定是否使得所述第一虚拟机或所述第二虚拟机进入休眠状态。
[0027]此外，为实现上述目的，本专利技术还提供一种GPU资源管理装置，所述GPU资源管理装置包括：
[0028]创建模块，用于在检测到第一应用的创建指令时，创建包含所述第一应用的第一虚拟机，并向所述第一虚拟机分配GPU资源；
[0029]释放模块，用于在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态。
[0030]进一步地，所述释放模块还用于：
[0031]在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移，以将所述第一GPU主机中被所述第一虚拟机的占用的GPU资源进行释放，使得所述第一虚拟机进入休眠状态。
[0032]进一步地，所述释放模块还用于：
[0033]将第一虚拟机对应的第一GPU主机中存储的所述第一应用对应的数据拷贝到所述
第一GPU主机的内存和系统缓存中。
[0034]进一步地，所述释放模块还包括转移模块，所述转移模块用于：
[0035]将所述第一虚拟机包含的所述第一应用从运行队列转移到挂起队列中，并将所述第一虚拟机释放的GPU资源分配给等待队列中的第二应用进行使用；
[0036]若接收到所述第一应用对应的业务请求时，则将所述第一应用从所述挂起队列转移到所述等待队列中；
[0037]当所述第一应用对应的虚拟机被分配到对应的GPU资源时，将所述第一应用从所述等待队列转移到所述运行队列中，以使所述第一应用对所述业务请求进行处理。
[0038]进一步地，所述释放模块还包括分配模块，所述分配模块用于：
[0039]获取所述第一应用的应用信息，根据所述应用信息确定第二GPU主机，并在所述第二GPU主机上创建包含所述第一应用的第二虚拟机；
[0040]在检测到所述第一应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU资源管理方法，其特征在于，所述GPU资源管理方法包括如下步骤：在检测到第一应用的创建指令时，创建包含所述第一应用的第一虚拟机，并向所述第一虚拟机分配GPU资源；在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态。2.如权利要求1所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤包括：在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移，以将所述第一GPU主机中被所述第一虚拟机的占用的GPU资源进行释放，使得所述第一虚拟机进入休眠状态。3.如权利要求2所述的GPU资源管理方法，其特征在于，所述将所述第一虚拟机对应的第一GPU主机中储存的所述第一应用对应的数据进行转移的步骤包括：将第一虚拟机对应的第一GPU主机的显存中存储的所述第一应用对应的数据拷贝到所述第一GPU主机的内存和系统缓存中。4.如权利要求1所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法包括：将所述第一虚拟机包含的所述第一应用从运行队列转移到挂起队列中，并将所述第一虚拟机释放的GPU资源分配给等待队列中的第二应用进行使用；若接收到所述第一应用对应的业务请求时，则将所述第一应用从所述挂起队列转移到所述等待队列中；当所述第一应用对应的虚拟机被分配到对应的GPU资源时，将所述第一应用从所述等待队列转移到所述运行队列中，以使所述第一应用对所述业务请求进行处理。5.如权利要求1至4任一项所述的GPU资源管理方法，其特征在于，所述在检测到所述第一虚拟机在预设周期内未接收到业务请求时，将所述第一虚拟机占用的GPU资源释放，使得所述第一虚拟机进入休眠状态的步骤之后，所述GPU资源管理方法还包括：获取所述第一应用的应用信息，根据所述应用信息确定第二GPU主机，并在所述第二GPU主机上创建包含所述第一应用的第二虚拟机；在检测到所述第一应用对应的业务请求时，获取当前GPU资源剩余信息，根据所述当前GPU资源剩余信息，...

【专利技术属性】
技术研发人员：王言，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：