GPU运行方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种GPU运行方法、装置、设备及存储介质，通过基于共享GPU上运行的MPS Server进程，在共享GPU上同时运行至少两个待运行容器中的进程，其中，共享GPU为当前正在运行MPS Server进程的GPU，在某些实施过程中，基于共享GPU上运行的MPS Server进程，可以使得至少两个待运行容器中的进程同时在该共享GPU上运行，从而使得多个待运行容器可以同时共享一个GPU，即多个容器中的进程可以同时在一个GPU上运行，提高了GPU的利用率。

【技术实现步骤摘要】
GPU运行方法、装置、设备及存储介质
本专利技术实施例涉及但不限于处理器应用
，具体而言，涉及但不限于GPU运行方法、装置、设备及存储介质。
技术介绍
由于GPU(GraphicsProcessingUnit，图形处理器)强大的算力，越来越多的领域和应用采用GPU来提高运行效率，如高性能计算和深度学习领域。同时，随着容器技术的流行，越来越多的应用采用容器和容器云作为应用间隔离以及应用编排调度的工具。首先，在容器使用GPU方面，有些场景如深度学习训练，需要独占一个或多个GPU来加速模型训练。但是在另外一些场景，例如模型推理中，一个容器独占一个GPU，对GPU强大的算力来说是一种浪费。目前提供的进程间共享GPU的方案支持多个容器中的进程共享同一GPU，但该方案采用时间分片方式，同一时间只能单个容器中的进程使用GPU，无法实现多个容器并行共享同一GPU，导致GPU利用率较低。
技术实现思路
本专利技术实施例提供的GPU运行方法、装置、设备及存储介质，主要解决的技术问题是GPU利用率低的问题。为解决上述技术问题，本专利技术实施例提供一种GPU运行方法，包括：基于共享GPU上运行的多进程服务服务器MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPSServer进程的GPU。本专利技术实施例还提供一种GPU运行装置，包括：运行模块，用于基于共享GPU上运行的MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPSServer进程的GPU。本专利技术实施例还提供一种GPU运行设备，包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的GPU运行程序，以实现以下步骤：基于共享GPU上运行的多进程服务服务器MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPSServer进程的GPU。本专利技术实施例还提供一种存储介质，所述存储介质存储有GPU运行程序，所述GPU运行程序可被一个或者多个处理器执行，以实现以下步骤：基于共享GPU上运行的多进程服务服务器MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPSServer进程的GPU。本专利技术的有益效果是：根据本专利技术实施例提供的GPU运行方法、装置、设备及存储介质，通过基于共享GPU上运行的MPSServer进程，在共享GPU上同时运行至少两个待运行容器中的进程，其中，共享GPU为当前正在运行MPSServer进程的GPU，在某些实施过程中，基于共享GPU上运行的MPSServer进程，可以使得至少两个待运行容器中的进程同时在该共享GPU上运行，从而使得多个待运行容器可以同时共享一个GPU，即多个容器中的进程可以同时在一个GPU上运行，提高了GPU的利用率。本专利技术其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本专利技术说明书中的记载变的显而易见。附图说明图1为本专利技术实施例一的GPU运行方法流程图；图2为本专利技术实施例一的MPSServer进程在GPU上运行的流程图；图3为本专利技术实施例一的MPSServer容器中的进程在GPU上运行的流程图；图4为本专利技术实施例一的待运行容器在GPU上运行的流程图；图5为本专利技术实施例二的GPU运行方法流程图；图6为本专利技术实施例二的示例一的设备运行示意图；图7为本专利技术实施例二的示例二的设备运行示意图；图8为本专利技术实施例三的GPU运行方法流程图；图9为本专利技术实施例三的示例一的设备运行示意图；图10为本专利技术实施例三的示例二的设备运行示意图；图11为本专利技术实施例五的GPU运行设备结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本专利技术实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一：目前提供的进程间共享GPU的方案支持多个容器中的进程共享同一GPU，但该方案采用时间分片方式，同一时间只能单个容器中的进程使用GPU，无法实现多个容器并行共享同一GPU，导致GPU利用率较低。为了解决上述技术问题，本专利技术实施例提供一种GPU运行方法，请参见图1所示，该GPU运行方法包括：S101、基于共享GPU上运行的MPSServer进程，在共享GPU上同时运行至少两个待运行容器中的进程。本专利技术实施例中，共享GPU为当前正在运行MPSServer进程的GPU，需要说明的是，基于MPS(Multi-ProcessService，多进程服务)技术，可以实现多个进程在同一个GPU上并行运行。因此，本专利技术实施例中，基于共享GPU上运行的MPSServer(多进程服务服务器)进程，可以实现至少两个待运行容器中的进程在共享GPU上并行运行，即可以实现在共享GPU上同时运行至少两个待运行容器中的进程，从而实现多个容器并行共享同一GPU，提高GPU的利用率。本专利技术实施例中，待运行容器可以是实现推理作业的容器，当然，还可以是其他容器。本专利技术实施例中，共享GPU支持至少两个待运行容器中的进程在其上并行运行，应当理解的是，该共享GPU也支持一个待运行容器中的进程在其上运行，例如，可以基于共享GPU上运行的MPSServer进程，在共享GPU上运行一个待运行容器中的进程。本专利技术实施例中，为了基于共享GPU上运行的MPSServer进程，在共享GPU上同时运行至少两个待运行容器中的进程，待运行容器需要与MPSServer建立通讯，其中，可以建立IPC(Inter-ProcessCommunication，进程间通信)通讯。为了使得待运行容器与MPSServer建立IPC通讯，待运行容器的IPCnamespace(命名空间)与MPSServer进程对应的IPCnamespace相同，即待运行容器与MPSServer属于同一IPCnamespace。也就是说，本专利技术实施例中，S101中，基于共享GPU上运行的MPSServer进程，在共享GPU上同时运行至少两个待运行容器中的进程，这至少两个待运行容器的IPCnamespace与MPSServer进程对应的IPCnamespace相同。本专利技术实施例中，在S101基于共享GPU上运行的MPSServer进程，在共享GPU上同时运行至少两个待运行容器中的进程之前，参见图2所示，还包括：S201、启动MPSServer。S202、在至少一个GPU上运行MPSServer进程使得该GPU成为共享GPU。本专利技术实施例中，包括至少一个GPU和至少一个MPSServe本文档来自技高网...

【技术保护点】
1.一种GPU运行方法，包括：/n基于共享GPU上运行的多进程服务服务器MPS Server进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPS Server进程的GPU。/n

【技术特征摘要】
1.一种GPU运行方法，包括：
基于共享GPU上运行的多进程服务服务器MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程，所述共享GPU为当前正在运行MPSServer进程的GPU。


2.如权利要求1所述的GPU运行方法，其特征在于，所述MPSServer进程对应的进程间通信命名空间IPCnamespace，与所述待运行容器的IPCnamespace相同。


3.如权利要求2所述的GPU运行方法，其特征在于，所述基于共享GPU上运行的MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程之前，还包括：
启动MPSServer，并在至少一个GPU上运行MPSServer进程，使得所述GPU成为共享GPU。


4.如权利要求3所述的GPU运行方法，其特征在于，所述启动MPSServer，并在至少一个GPU上运行MPSServer进程，使得所述GPU成为共享GPU包括：
直接在操作系统中启动MPSServer，并在至少一个GPU上运行MPSServer进程，使得所述GPU成为共享GPU；
所述基于共享GPU上运行的MPSServer进程，在所述共享GPU上运行至少两个待运行容器中的进程包括：
基于共享GPU上运行的MPSServer进程，在所述共享GPU上运行与所述操作系统属于同一IPCnamespace的至少两个待运行容器中的进程。


5.如权利要求3所述的GPU运行方法，其特征在于，所述启动MPSServer，并在至少一个GPU上运行MPSServer进程，使得所述GPU成为共享GPU包括：
启动MPSServer容器，并在至少一个GPU上运行所述MPSServer容器中的MPSServer进程，使得所述GPU成为共享GPU；
所述基于共享GPU上运行的MPSServer进程，在所述共享GPU上同时运行至少两个待运行容器中的进程包括：
基于共享GPU上运行的MPSServer进程，在所述共享GPU上同时运行与所述MPSServer容器属于同一IPCnamespace的至少两个待运行容器中的进程。


6.如权利要求5所述的GPU运行方法，其特征在于，所述启动MPSServer容器，并在至少一个GPU上运行所述MPSServer容器中的MPSServer进程，使得所述GPU成为共享GPU包括：
启动MPSServer容器；
为所述MPSSe...

【专利技术属性】
技术研发人员：王永成，王科文，唐波，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44