基于容器的图形处理器虚拟化资源调度方法及其装置制造方法及图纸

本公开是关于一种基于容器的图形处理器虚拟化资源调度方法及其装置。其中，容器中的进程共享同一张图形处理器GPU卡的算力资源，每个进程在每个调度周期内被分配对应的GPU时间片，该方法可以包括：响应于在第一调度周期内的GPU时间片到来，确定与GPU时间片匹配的第一进程；确定第一进程是否有计算需求；响应于第一进程有计算需求，根据计算需求，从第一进程在调度周期内分配的GPU时间片和/或第一进程的突发缓冲区中，确定第一进程的执行时间片；其中，执行时间片用于辅助第一进程完成计算；突发缓冲区用于存储空闲的GPU时间片，空闲的GPU时间片是指第一进程未消耗的GPU时间片。本公开实施例可以解决基于分时复用GPU算力方案调度延时的问题。案调度延时的问题。案调度延时的问题。

【技术实现步骤摘要】
基于容器的图形处理器虚拟化资源调度方法及其装置


[0001]本公开涉及计算机
，尤其涉及自动驾驶领域及自动驾驶资源分配领域等，特别涉及一种基于容器的图形处理器虚拟化资源调度方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，通过GPU(Graphics Processing Unit，图形处理器)虚拟化切片技术及相应的池化调度技术，可以让多进程充分利用GPU算力资源，同时隔离多进程间故障传播，从而节约算力成本，帮助企业降本增效。
[0003]特别是涉及自动驾驶领域，GPU算力资源调度极为重要。相关技术中，算力切片技术是通过多个进程分时复用GPU算力方式实现的。然而，在这种背景下，如果一张GPU卡上部署高密度的容器，每个容器都会消费相应的时间片，当同时使用GPU的容器过多时会导致较大的调度延时，限制了该类型算力调度技术在时延敏感型业务上的使用。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种基于容器的图形处理器虚拟化资源调度方法及其装置。
[0005]根据本公开实施例的第一方面，提供一种基于容器的图形处理器虚拟化资源调度方法，所述容器中的进程共享同一张图形处理器GPU卡的算力资源，每个所述进程在每个调度周期内被分配对应的GPU时间片，所述方法包括：
[0006]响应于在第一调度周期内的GPU时间片到来，确定与所述GPU时间片匹配的第一进程；
[0007]确定所述第一进程是否有计算需求；
[0008]响应于所述第一进程有计算需求，根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片；其中，所述执行时间片用于辅助所述第一进程完成计算；所述突发缓冲区用于存储空闲的GPU时间片，所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。
[0009]根据本公开实施例的第二方面，提供一种基于容器的图形处理器虚拟化资源调度装置，所述容器中的进程共享同一张图形处理器GPU卡的算力资源，每个所述进程在每个调度周期内被分配对应的GPU时间片，所述装置包括：
[0010]第一确定模块，用于在第一调度周期内的GPU时间片到来时，确定与所述GPU时间片匹配的第一进程；
[0011]第二确定模块，用于确定所述第一进程是否有计算需求；
[0012]第三确定模块，用于在所述第一进程有计算需求时，根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片；其中，所述执行时间片用于辅助所述第一进程完成计算；所述突发
缓冲区用于存储空闲的GPU时间片，所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。
[0013]根据本公开实施例的第三方面，提供一种计算机设备，包括：至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面所述的方法。
[0014]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述的方法。
[0015]根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现如前述第一方面所述方法的步骤。
[0016]本公开的实施例提供的技术方案可以包括以下有益效果：
[0017]在第一进程的GPU时间片到来，且确定该第一进程有计算需求时，可以根据该计算需求，先使用在调度周期内分配的GPU时间片，待该第一进程在调度周期内分配的GPU时间片用尽后，继续使用突发缓冲区中存储的GPU时间片，从而完成该第一进程的计算。由此可见，本公开通过突发缓冲区将进程空闲的GPU时间片存储起来，这样，在进程GPU时间片到来，可以待该进程在调度周期内分配的GPU时间片用尽后，继续使用突发缓冲区中存储的GPU时间片，优化了调度算法，允许容器突发使用GPU时间片，从而可以解决基于分时复用GPU算力方案调度延时的问题。另外，通过将本公开实施例提供的图形处理器虚拟化资源调度技术方案应用于自动驾驶服务端的计算机设备，有利于提高对自动驾驶领域合理调度资源的处理效果，为自动驾驶车辆提供高效的资源调用，实现计算最优化，进而有利于提高自动驾驶的安全性。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0020]图1是根据一示例性实施例示出的一种基于容器的图形处理器虚拟化资源调度方法的流程图。
[0021]图2是根据一示例性实施例示出的3个调度周期的时间长度示例图。
[0022]图3是根据一示例性实施例示出的另一种基于容器的图形处理器虚拟化资源调度方法的流程图。
[0023]图4是根据一示例性实施例示出的又一种基于容器的图形处理器虚拟化资源调度方法的流程图。
[0024]图5a是采用现有的GPU算力切片技术的资源调度示例图。
[0025]图5b是采用本公开的图形处理器虚拟化资源调度技术的示例图。
[0026]图6是根据一示例性实施例示出的一种基于容器的图形处理器虚拟化资源调度装置框图。
[0027]图7是根据一示例性实施例示出的另一种基于容器的图形处理器虚拟化资源调度
装置框图。
[0028]图8是根据一示例性实施例示出的又一种基于容器的图形处理器虚拟化资源调度装置框图。
[0029]图9是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0031]需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“至少一个”的含义是一个或多个，多个的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0032]为了便于理解，首先介绍本公开涉及的术语。
[0033]1、图形处理器(Graphics Processing Unit，GPU)：又称显示核心、视觉处理器、显示芯片，是一种专门做图像和图形相关运算工作的微处理器。由于具备极其强大的并行计算能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器的图形处理器虚拟化资源调度方法，其特征在于，所述容器中的进程共享同一张图形处理器GPU卡的算力资源，每个所述进程在每个调度周期内被分配对应的GPU时间片，所述方法包括：响应于在第一调度周期内的GPU时间片到来，确定与所述GPU时间片匹配的第一进程；确定所述第一进程是否有计算需求；响应于所述第一进程有计算需求，根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片；其中，所述执行时间片用于辅助所述第一进程完成计算；所述突发缓冲区用于存储空闲的GPU时间片，所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。2.如权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述第一进程没有计算需求，将所述第一进程在所述第一调度周期内分配的GPU时间片存储至所述第一进程的所述突发缓冲区。3.如权利要求1所述的方法，其特征在于，所述根据所述计算需求，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片，包括：根据所述计算需求，确定所述第一进程计算所需的时间；根据所述第一进程计算所需的时间，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片。4.如权利要求3所述的方法，其特征在于，所述根据所述第一进程计算所需的时间，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片，包括：响应于所述第一进程计算所需的时间大于所述第一进程在所述第一调度周期内分配的第一GPU时间片，根据所述第一进程计算所需的时间和所述第一GPU时间片，从所述第一进程的突发缓冲区中获取待借用GPU时间片；根据所述待借用GPU时间片，更新所述突发缓冲区中存储的剩余空闲GPU时间片；根据所述第一GPU时间片和所述待借用GPU时间片，确定所述第一进程的执行时间片。5.如权利要求4所述的方法，其特征在于，所述根据所述第一进程计算所需的时间，从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中，确定所述第一进程的执行时间片，还包括：响应于所述第一进程计算所需的时间等于所述第一进程在所述第一调度周期内分配的第一GPU时间片，将所述第一GPU时间片确定为所述第一进程的执行时间片；或者，响应于所述第一进程计算所需的时间小于所述第一进程在所述第一调度周期内分配的第一GPU时间片，根据所述第一进程计算所需的时间，将所述第一GPU时间片的部分时间片确定为所述第一进程的执行时间片。6.如权利要求5所述的方法，其特征在于，所述方法还包括：将所述第一GPU时间片的其他部分时间片存储至所述第一进程的所述突发缓冲区；其中，所述其他部分时间片为所述第一GPU时间片中除所述部分时间片之外的剩余时间片。7.如权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：响应于所述第一进程的突发缓冲区中存储的GPU时间片过期，从所述第一进程的突发
缓冲区中剔除所述过期的GPU时间片。8.一种基于容器的图形处理器虚拟化资源调度装置，其特征在于，所述容器中的进程共享...

【专利技术属性】
技术研发人员：昌易，
申请(专利权)人：北京小米移动软件有限公司北京小米松果电子有限公司，
类型：发明
国别省市：