System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图形处理器GPU调度方法、装置和存储介质制造方法及图纸_技高网

图形处理器GPU调度方法、装置和存储介质制造方法及图纸

技术编号:39967811 阅读:11 留言:0更新日期:2024-01-09 00:33
本公开涉及图形处理器技术领域,尤其涉及一种图形处理器GPU调度方法、装置和存储介质。该方法包括:获取迁移命令,迁移命令用于将源虚拟机VM的工作负载由源GPU核上迁移至目标GPU核上;根据迁移命令,建立源VM与目标GPU核上对应的硬件标识之间的关联关系;基于迁移后的关联关系,利用目标GPU核处理来自于源VM的工作负载。根据本申请实施例,可以使VM在不关机的前提下,利用目标GPU核处理来自于源VM的工作负载,从而将源VM的工作负载由高负载的源GPU核上迁移至空闲的目标GPU核上,实现多核GPU核之间的热迁移,可以均衡多个GPU核之间的负载,减轻高负载GPU核的压力,缩短响应时间,提高吞吐率。

【技术实现步骤摘要】

本公开涉及图形处理器,尤其涉及一种图形处理器gpu调度方法、装置和存储介质。


技术介绍

1、图形处理器(graphics processing unit,gpu)在图形图像渲染、并行计算、人工智能等领域都有着非常重要的用途。其中在gpu虚拟化技术中,为了实现支持多个虚拟机(virtual machine,vm)同时使用一个gpu,会将gpu的硬件资源划分成多份,以为每个vm提供独立的硬件资源。

2、如此,在多核gpu的场景下,当前的技术方案中通常来自于vm的工作负载(workload)只能在开机时初始选择的gpu核(gpu core)上处理,由于vm随时可能开关机,存在一种可能多个vm的workload都集中在某一个gpu core上,此时其他gpu core空闲,不仅硬件资源浪费,还会提高负载gpu core的压力,导致核间负载不均衡。因此,亟需一种新型的gpu调度方法以便于多个gpu core上的负载均衡,缩短响应时间,提高吞吐率。


技术实现思路

1、有鉴于此,本公开提出了一种图形处理器gpu调度方法、装置和存储介质。

2、根据本公开的一方面,提供了一种图形gpu调度方法。该方法包括:

3、获取迁移命令,迁移命令用于将源虚拟机vm的工作负载 由源gpu核上迁移至目标gpu核上;

4、根据迁移命令,建立源vm与目标gpu核上对应的硬件标识之间的关联关系;

5、基于迁移后的关联关系,利用目标gpu核处理来自于源vm的工作负载。

6、在一种可能的实现方式中,根据迁移命令,建立源vm与目标gpu核上对应的硬件标识之间的关联关系,包括:

7、根据迁移命令,建立源vm与目标gpu核上对应硬件标识的寄存器组之间的映射;

8、根据迁移命令,建立目标gpu核上对应的硬件标识与源vm的命令队列之间的映射,以及目标gpu核上对应的硬件标识与源vm的通用显存之间的映射。

9、在一种可能的实现方式中,根据迁移命令,建立源vm与目标gpu核上对应硬件标识的寄存器组之间的映射,包括:

10、根据迁移命令,获取源gpu核上对应硬件标识的寄存器组的第一地址和目标gpu核上对应硬件标识的寄存器组的第一地址,第一地址用于指示主机的物理显存地址;

11、基于源gpu核上对应硬件标识的寄存器组的第一地址,对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射关系,以建立源vm与目标gpu核上对应硬件标识的寄存器组之间的映射,第二地址用于指示vm的虚拟显存地址。

12、在一种可能的实现方式中,基于源gpu核上对应硬件标识的寄存器组的第一地址,对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射,包括:

13、基于源gpu核上对应硬件标识的寄存器组的第一地址,更改源vm的二级页表中的相应片段,使得对源gpu核上对应硬件标识的寄存器组的访问发生陷入;

14、在陷入后对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射关系。

15、在一种可能的实现方式中,在陷入后对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射关系,包括:

16、在陷入后,调用主机驱动中的预定错误处理函数,以执行gpu核注册的错误处理,基于目标gpu核上对应硬件标识的寄存器组的第一地址,调用hypervisor映射接口以更新二级页表,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射关系。

17、在一种可能的实现方式中,根据迁移命令,建立目标gpu核上对应的硬件标识与源vm的命令队列之间的映射,以及目标gpu核上对应的硬件标识与源vm的通用显存之间的映射,包括:

18、根据迁移命令,获取目标命令队列的第一页表,第一页表指示命令队列的第三地址与命令队列的第一地址之间、以及通用显存的第三地址与通用显存的第一地址之间的映射关系,目标命令队列为目标gpu核上对应的硬件标识指示的命令队列,第一地址用于指示主机的物理显存地址,第三地址用于指示主机的虚拟显存地址;

19、在vm之间的命令队列所使用的第三地址的大小相同的情况下,以源vm命令队列的第一页表替换目标命令队列的第一页表,以建立目标gpu核上对应的硬件标识与源vm的命令队列之间的映射,以及目标gpu核上对应的硬件标识与源vm的通用显存之间的映射。

20、在一种可能的实现方式中,在vm之间的命令队列所使用的第三地址的大小不同的情况下,根据迁移命令,建立目标gpu核上对应的硬件标识与源vm的命令队列之间的映射,以及目标gpu核上对应的硬件标识与源vm的通用显存之间的映射,还包括:

21、根据迁移命令,获取目标命令队列的第二页表,第二页表指示命令队列的第二地址与命令队列的第三地址之间、以及通用显存的第二地址与通用显存的第三地址之间的映射关系;

22、以源vm命令队列的第二页表替换目标命令队列的第二页表。

23、在一种可能的实现方式中,该方法还包括:

24、在主机驱动初始化时,为gpu核对应硬件标识的命令队列和通用显存建立第一页表和第二页表。

25、在一种可能的实现方式中,基于迁移后的关联关系,利用目标gpu核处理来自于源vm的工作负载,包括:

26、响应于对目标gpu核上对应硬件标识的寄存器组的写操作,基于迁移后的关联关系,利用目标gpu核的微控制器mcu获取来自于源vm的工作负载的信息,工作负载的信息中包括本次工作负载对应的第二地址和与本次工作负载关联的页表根目录的第三地址;

27、利用目标gpu核的mcu,将工作负载对应的第二地址和与本次工作负载关联的页表根目录的第三地址配置给目标gpu核的引擎,以利用目标gpu核的引擎在主机的显存上寻址,对本次工作负载进行处理。

28、在一种可能的实现方式中,根据迁移命令,建立源vm与目标gpu核上对应的硬件标识之间的关联关系,包括:

29、在目标gpu核上存在空闲资源的情况下,根据迁移命令,建立源vm与目标gpu核上对应的硬件标识之间的关联关系。

30、在一种可能的实现方式中,迁移命令包括目标gpu核的标识和目标gpu核上对应的硬件标识。

31、根据本公开的另一方面,提供了一种图形处理器gpu调度装置。该装置包括:

32、获取模块,用于获取迁移命令,迁移命令用于将源虚拟机vm的工作负载由源gpu核上迁移至目标gpu核上;

33、第一建立模块,用于根据迁移命令,建立源vm与目标gpu核上对应的本文档来自技高网...

【技术保护点】

1.一种图形处理器GPU调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述迁移命令,建立源VM与所述目标GPU核上对应的硬件标识之间的关联关系,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述迁移命令,建立源VM与所述目标GPU核上对应硬件标识的寄存器组之间的映射,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于源GPU核上对应硬件标识的寄存器组的第一地址,对源VM的二级页表进行更新,使更新后的二级页表指示源VM的第二地址与目标GPU核上对应硬件标识的寄存器组的第一地址之间的映射,包括:

5.根据权利要求4所述的方法,其特征在于,所述在陷入后对源VM的二级页表进行更新,使更新后的二级页表指示源VM的第二地址与目标GPU核上对应硬件标识的寄存器组的第一地址之间的映射关系,包括:

6.根据权利要求2所述的方法,其特征在于,所述根据所述迁移命令,建立所述目标GPU核上对应的硬件标识与源VM的命令队列之间的映射,以及目标GPU核上对应的硬件标识与源VM的通用显存之间的映射,包括:

7.根据权利要求6所述的方法,其特征在于,在VM之间的命令队列所使用的第三地址的大小不同的情况下,所述根据所述迁移命令,建立所述目标GPU核上对应的硬件标识与源VM的命令队列之间的映射,以及目标GPU核上对应的硬件标识与源VM的通用显存之间的映射,还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1-8任一项所述的方法,其特征在于,所述基于迁移后的所述关联关系,利用目标GPU核处理来自于源VM的工作负载,包括:

10.根据权利要求1所述的方法,其特征在于,所述根据所述迁移命令,建立源VM与所述目标GPU核上对应的硬件标识之间的关联关系,包括:

11.根据权利要求1所述的方法,其特征在于,所述迁移命令包括目标GPU核的标识和目标GPU核上对应的硬件标识。

12.一种图形处理器GPU调度装置,其特征在于,所述装置包括:

13.一种图形处理器GPU调度装置,其特征在于,包括:

14.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。

...

【技术特征摘要】

1.一种图形处理器gpu调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述迁移命令,建立源vm与所述目标gpu核上对应的硬件标识之间的关联关系,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述迁移命令,建立源vm与所述目标gpu核上对应硬件标识的寄存器组之间的映射,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于源gpu核上对应硬件标识的寄存器组的第一地址,对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射,包括:

5.根据权利要求4所述的方法,其特征在于,所述在陷入后对源vm的二级页表进行更新,使更新后的二级页表指示源vm的第二地址与目标gpu核上对应硬件标识的寄存器组的第一地址之间的映射关系,包括:

6.根据权利要求2所述的方法,其特征在于,所述根据所述迁移命令,建立所述目标gpu核上对应的硬件标识与源vm的命令队列之间的映射,以及目标gpu核上对应的硬件标识与源vm的通用显存之间的映射,包括:

7.根据权利要...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:摩尔线程智能科技北京有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1