基于容器的图形处理器虚拟化资源调度方法及其装置制造方法及图纸

技术编号:37821427 阅读:21 留言:0更新日期:2023-06-09 09:57
本公开是关于一种基于容器的图形处理器虚拟化资源调度方法及其装置。其中,容器中的进程共享同一张图形处理器GPU卡的算力资源,每个进程在每个调度周期内被分配对应的GPU时间片,该方法可以包括:响应于在第一调度周期内的GPU时间片到来,确定与GPU时间片匹配的第一进程;确定第一进程是否有计算需求;响应于第一进程有计算需求,根据计算需求,从第一进程在调度周期内分配的GPU时间片和/或第一进程的突发缓冲区中,确定第一进程的执行时间片;其中,执行时间片用于辅助第一进程完成计算;突发缓冲区用于存储空闲的GPU时间片,空闲的GPU时间片是指第一进程未消耗的GPU时间片。本公开实施例可以解决基于分时复用GPU算力方案调度延时的问题。案调度延时的问题。案调度延时的问题。

【技术实现步骤摘要】
基于容器的图形处理器虚拟化资源调度方法及其装置


[0001]本公开涉及计算机
,尤其涉及自动驾驶领域及自动驾驶资源分配领域等,特别涉及一种基于容器的图形处理器虚拟化资源调度方法、装置、电子设备及存储介质。

技术介绍

[0002]目前,通过GPU(Graphics Processing Unit,图形处理器)虚拟化切片技术及相应的池化调度技术,可以让多进程充分利用GPU算力资源,同时隔离多进程间故障传播,从而节约算力成本,帮助企业降本增效。
[0003]特别是涉及自动驾驶领域,GPU算力资源调度极为重要。相关技术中,算力切片技术是通过多个进程分时复用GPU算力方式实现的。然而,在这种背景下,如果一张GPU卡上部署高密度的容器,每个容器都会消费相应的时间片,当同时使用GPU的容器过多时会导致较大的调度延时,限制了该类型算力调度技术在时延敏感型业务上的使用。

技术实现思路

[0004]为克服相关技术中存在的问题,本公开提供一种基于容器的图形处理器虚拟化资源调度方法及其装置。
[0005]根据本公开实施例的第一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器的图形处理器虚拟化资源调度方法,其特征在于,所述容器中的进程共享同一张图形处理器GPU卡的算力资源,每个所述进程在每个调度周期内被分配对应的GPU时间片,所述方法包括:响应于在第一调度周期内的GPU时间片到来,确定与所述GPU时间片匹配的第一进程;确定所述第一进程是否有计算需求;响应于所述第一进程有计算需求,根据所述计算需求,从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中,确定所述第一进程的执行时间片;其中,所述执行时间片用于辅助所述第一进程完成计算;所述突发缓冲区用于存储空闲的GPU时间片,所述空闲的GPU时间片是指所述第一进程未消耗的GPU时间片。2.如权利要求1所述的方法,其特征在于,所述方法还包括:响应于所述第一进程没有计算需求,将所述第一进程在所述第一调度周期内分配的GPU时间片存储至所述第一进程的所述突发缓冲区。3.如权利要求1所述的方法,其特征在于,所述根据所述计算需求,从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中,确定所述第一进程的执行时间片,包括:根据所述计算需求,确定所述第一进程计算所需的时间;根据所述第一进程计算所需的时间,从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中,确定所述第一进程的执行时间片。4.如权利要求3所述的方法,其特征在于,所述根据所述第一进程计算所需的时间,从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中,确定所述第一进程的执行时间片,包括:响应于所述第一进程计算所需的时间大于所述第一进程在所述第一调度周期内分配的第一GPU时间片,根据所述第一进程计算所需的时间和所述第一GPU时间片,从所述第一进程的突发缓冲区中获取待借用GPU时间片;根据所述待借用GPU时间片,更新所述突发缓冲区中存储的剩余空闲GPU时间片;根据所述第一GPU时间片和所述待借用GPU时间片,确定所述第一进程的执行时间片。5.如权利要求4所述的方法,其特征在于,所述根据所述第一进程计算所需的时间,从所述第一进程在所述调度周期内分配的GPU时间片和/或所述第一进程的突发缓冲区中,确定所述第一进程的执行时间片,还包括:响应于所述第一进程计算所需的时间等于所述第一进程在所述第一调度周期内分配的第一GPU时间片,将所述第一GPU时间片确定为所述第一进程的执行时间片;或者,响应于所述第一进程计算所需的时间小于所述第一进程在所述第一调度周期内分配的第一GPU时间片,根据所述第一进程计算所需的时间,将所述第一GPU时间片的部分时间片确定为所述第一进程的执行时间片。6.如权利要求5所述的方法,其特征在于,所述方法还包括:将所述第一GPU时间片的其他部分时间片存储至所述第一进程的所述突发缓冲区;其中,所述其他部分时间片为所述第一GPU时间片中除所述部分时间片之外的剩余时间片。7.如权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:响应于所述第一进程的突发缓冲区中存储的GPU时间片过期,从所述第一进程的突发
缓冲区中剔除所述过期的GPU时间片。8.一种基于容器的图形处理器虚拟化资源调度装置,其特征在于,所述容器中的进程共享...

【专利技术属性】
技术研发人员:昌易
申请(专利权)人:北京小米移动软件有限公司北京小米松果电子有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1