GPU容器创建方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种GPU容器创建方法、装置、电子设备及存储介质。该方法包括：接收GPU容器创建请求；所述GPU容器创建请求包括GPU资源需求信息；获取GPU设备集群中每个GPU设备的卡量信息；根据所述GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备；从内存中获取所述目标GPU设备对应的目标GPU设备信息；根据所述目标GPU设备信息和所述资源需求信息，创建GPU容器。根据本申请的技术方案，可以提高GPU容器的创建效率，满足AI模型训练的迭代需求。训练的迭代需求。训练的迭代需求。

【技术实现步骤摘要】
GPU容器创建方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种GPU容器创建方法、装置、电子设备及存储介质。

技术介绍

[0002]目前人工智能AI的运用越来越广泛，使得AI模型训练的数量和频次均迅速提高。但由于AI(Artificial Intelligence，人工智能)模型训练需要较高的算力，一般会向算力平台请求算力资源，例如GPU(Graphics Processing Unit，图形处理器)算力资源。算力平台一般以容器的方式向用户提供算力资源，但在容器创建过程中，例如GPU容器创建过程中，匹配到GPU资源下发生产时，均需要通过调用API函数以使GPU设备的API接口实时读取GPU设备信息，将读取的GPU设备信息加载至创建的容器中，完成GPU容器的创建。现有读取GPU设备信息的方式，生产环节中需要多次调用API(Application Programming Interface，应用程序接口)函数，导致容器生产过程耗时较高，容器生产效率低，从而不能满足AI模型训练的迭代需求。

技术实现思路

[0003]有鉴于上述存在的技术问题，本申请提出了一种GPU容器创建方法、装置、电子设备及存储介质。
[0004]根据本申请的一方面，提供了一种GPU容器创建方法，所述方法包括：
[0005]接收GPU容器创建请求；所述GPU容器创建请求包括GPU资源需求信息；
[0006]获取GPU设备集群中每个GPU设备的卡量信息；
[0007]根据所述GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备；
[0008]从内存中获取所述目标GPU设备对应的目标GPU设备信息；
[0009]根据所述目标GPU设备信息和所述资源需求信息，创建GPU容器。
[0010]根据本申请的另一方面，提供了一种GPU容器创建装置，包括：
[0011]容器创建请求接收模块，用于接收GPU容器创建请求；所述GPU容器创建请求包括GPU资源需求信息；
[0012]卡量信息获取模块，用于获取GPU设备集群中每个GPU设备的卡量信息；
[0013]目标GPU设备确定模块，用于根据所述GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备；
[0014]目标GPU设备信息获取模块，用于从内存中获取所述目标GPU设备对应的目标GPU设备信息；
[0015]GPU容器创建模块，用于根据所述目标GPU设备信息和所述资源需求信息，创建GPU容器。
[0016]根据本申请的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可
执行指令的存储器；其中，所述处理器被配置为执行上述方法。
[0017]根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
[0018]通过从内存中获取目标GPU设备对应的目标GPU设备信息，根据本申请的GPU容器创建方法及装置，无需调用API函数以读取GPU设备信息，避免了API函数读取设备信息的多次交互，从而大大减少了容器生产过程中的耗时，提高GPU容器生产效率，使得算力平台可以快速交付算力容器，从而可以满足AI模型训练的迭代需求以及提高用户体验；并且，GPU容器快速交付用户，有助于资源流转效率的提升，进而可以提升资源的利用率以及降低算力平台成本；另外，由于减少了API函数频繁读取设备信息的请求数，可以降低设备负载压力以及提升生产的成功率。
[0019]根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
[0020]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
[0021]图1示出根据本申请一实施例提供的一种应用系统的示意图。
[0022]图2示出根据本申请一实施例的GPU容器创建方法的流程图。
[0023]图3示出根据本申请一实施例的GPU容器创建方法的流程图。
[0024]图4示出根据本申请一实施例的GPU容器创建方法的流程图。
[0025]图5示出根据本申请一实施例的根据GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备的流程图。
[0026]图6示出根据本申请一实施例的根据GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备的流程图。
[0027]图7示出根据本申请一实施例的GPU容器创建的架构流程示意图。
[0028]图8示出根据本申请一实施例的GPU容器创建装置的框图。
[0029]图9是根据一示例性实施例示出的一种用于GPU容器创建的电子设备的框图。
具体实施方式
[0030]以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0031]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0032]另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
[0033]人工智能AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智
能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0034]近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及机器学习/深度学习等技术，具体通过如下实施例进行说明：
[0035]请参阅图1，图1示出根据本申请一实施例提供的一种应用系统的示意图。所述应用系统可以用于本申请的GPU容器创建方法。如图1所示，该应用系统至少可以包括服务器01和终端02。
[0036]本申请实施例中，所述服务器01可以包括独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0037]本申请实施例中，所述终端02可以包括智能手机、台式计算机、平板电脑、笔记本电脑、智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU容器创建方法，其特征在于，所述方法包括：接收GPU容器创建请求；所述GPU容器创建请求包括GPU资源需求信息；获取GPU设备集群中每个GPU设备的卡量信息；根据所述GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备；从内存中获取所述目标GPU设备对应的目标GPU设备信息；根据所述目标GPU设备信息和所述资源需求信息，创建GPU容器。2.根据权利要求1所述的方法，其特征在于，还包括：若检测到预加载触发事件，获取所述GPU设备集群中每个GPU设备的设备信息；将每个GPU设备的设备信息预加载至所述内存中。3.根据权利要求1所述的方法，其特征在于，当所述GPU资源需求信息包括GPU卡资源信息和容器规格配置信息时，所述根据所述GPU资源需求信息和每个GPU设备的卡量信息，从所述GPU设备集群中确定目标GPU设备，包括：根据每个GPU设备的卡量信息和所述容器规格配置信息，确定所述GPU设备集群中满足所述容器规格配置信息的规格数量；根据所述GPU卡资源信息和所述容器规格配置信息，确定容器数量配置信息；若所述规格数量不满足所述容器数量配置信息，根据每个GPU设备的卡量信息和所述GPU卡资源信息，确定容器规格调整信息；发送所述容器规格调整信息至所述GPU容器生产请求对应的终端；若接收到所述终端对所述容器规格调整信息的确认信息，将所述容器规格调整信息作为目标容器规格信息；根据所述GPU卡资源信息和所述目标容器规格信息，确定目标容器数量信息；根据所述目标容器规格信息和所述目标容器数量信息，从所述GPU设备集群中确定所述目标GPU设备。4.根据权利要求1所述的方法，其特征在于，所述从内存中获取所述目标GPU设备对应的目标GPU设备信息，包括：若所述内存中不存在所述目标GPU设备信息，调用应用程序函数；基于所述应用程序函数，获取所述目标GPU设备对应的目标GPU设备信息；所述方法还包括：基于所述应用程序函数，获...

【专利技术属性】
技术研发人员：查冲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：