System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 计算任务的执行方法、装置、芯片、设备和存储介质制造方法及图纸_技高网

计算任务的执行方法、装置、芯片、设备和存储介质制造方法及图纸

技术编号:40973443 阅读:4 留言:0更新日期:2024-04-18 21:22
本公开提供了一种计算任务的执行方法、装置、芯片、设备、存储介质以及程序产品,涉及计算机技术领域,尤其涉及资源分配和芯片技术领域。具体实现方案为:确定用于执行计算任务的多个计算节点各自的初始吞吐量;根据初始吞吐量,从多个计算节点中确定多个目标计算节点,多个目标计算节点的初始吞吐量小于吞吐量阈值;针对多个计算节点集合的每个计算节点集合,确定每个计算节点集合独占缓存资源的情况下执行计算任务产生的总吞吐量,得到多个总吞吐量,每个计算节点集合包括多个目标计算节点中至少一个目标计算节点;在目标计算节点集合独占缓存资源的情况下,执行计算任务,目标计算节点集合为与多个总吞吐量中的最大总吞吐量对应计算节点集合。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及资源分配和芯片。


技术介绍

1、在类神经网络处理器(neural network processing unit,npu)的硬件架构中运行多个模型时,多个模型各自的运行进程抢占使用高速缓存,这会造成高速缓存的利用率低下,运行效率低等问题。


技术实现思路

1、本公开提供了一种计算任务的执行方法、装置、芯片、设备、存储介质以及程序产品。

2、根据本公开的一方面,提供了一种计算任务的执行方法,包括确定用于执行计算任务的多个计算节点各自的初始吞吐量;根据初始吞吐量,从多个计算节点中确定多个目标计算节点,多个目标计算节点的初始吞吐量小于吞吐量阈值;针对多个计算节点集合的每个计算节点集合,确定每个计算节点集合独占缓存资源的情况下执行计算任务产生的总吞吐量,得到多个总吞吐量,每个计算节点集合包括多个目标计算节点中的至少一个目标计算节点;以及在目标计算节点集合独占缓存资源的情况下,执行计算任务,其中,目标计算节点集合为与多个总吞吐量中的最大总吞吐量对应计算节点集合。

3、根据本公开的另一方面,提供了一种计算任务的执行装置,包括:第一确定模块,被配置为确定用于执行计算任务的多个计算节点各自的初始吞吐量;第二确定模块,被配置为根据初始吞吐量,从多个计算节点中确定多个目标计算节点,多个目标计算节点的初始吞吐量小于吞吐量阈值;第三确定模块,被配置为针对多个计算节点集合的每个计算节点集合,确定每个计算节点集合独占缓存资源的情况下执行计算任务产生的总吞吐量,得到多个总吞吐量,每个计算节点集合包括多个目标计算节点中的至少一个目标计算节点;以及执行模块,被配置为在目标计算节点集合独占缓存资源的情况下,执行计算任务,其中,目标计算节点集合为与多个总吞吐量中的最大总吞吐量对应计算节点集合。

4、根据本公开的另一方面,提供了一种芯片,包括本公开提供的计算任务的执行装置。

5、本公开的另一个方面提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开提供计算任务的执行方法。

6、根据本公开实施例的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开提供的计算任务的执行方法。

7、根据本公开实施例的另一方面,提供了一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现本公开提供的计算任务的执行方法。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种计算任务的执行方法,包括:

2.根据权利要求1所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

3.根据权利要求2所述的方法,其中,所述确定所述瓶颈计算节点独占所述缓存资源的情况下执行所述计算任务产生的第一总吞吐量包括:

4.根据权利要求2所述的方法,其中,所述确定所述多个目标计算节点共享所述缓存资源的情况下执行所述计算任务产生的第二总吞吐量包括:

5.根据权利要求1或2所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

6.根据权利要求1所述的方法,其中,所述确定用于执行计算任务的多个计算节点各自的初始吞吐量包括:

7.根据权利要求1所述的方法,其中,所述在目标计算节点集合独占所述缓存资源的情况下,执行所述计算任务包括:

8.一种计算任务的执行装置,包括:

9.根据权利要求8所述的装置,其中,所述第三确定模块包括:

10.根据权利要求9所述的装置,其中,所述第二确定单元被配置为确定所述瓶颈计算节点独占所述缓存资源的情况下执行所述计算任务产生的第一总吞吐量包括:

11.根据权利要求9所述的装置,其中,所述第三确定单元被配置为确定所述多个目标计算节点共享所述缓存资源的情况下执行所述计算任务产生的第二总吞吐量包括:

12.根据权利要求8或9所述的装置,其中,所述第三确定模块包括:

13.根据权利要求8所述的装置,其中,所述第一确定模块包括:

14.根据权利要求8所述的装置,其中,所述执行模块包括:

15.一种芯片,包括:

16.一种电子设备,包括:

17.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

18.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种计算任务的执行方法,包括:

2.根据权利要求1所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

3.根据权利要求2所述的方法,其中,所述确定所述瓶颈计算节点独占所述缓存资源的情况下执行所述计算任务产生的第一总吞吐量包括:

4.根据权利要求2所述的方法,其中,所述确定所述多个目标计算节点共享所述缓存资源的情况下执行所述计算任务产生的第二总吞吐量包括:

5.根据权利要求1或2所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

6.根据权利要求1所述的方法,其中,所述确定用于执行计算任务的多个计算节点各自的初始吞吐量包括:

7.根据权利要求1所述的方法,其中,所述在目标计算节点集合独占所述缓存资源的情况下,执行所述计算任务包括:

8.一种计算任务的执行装置,包括:

【专利技术属性】
技术研发人员:顾海仑刘梁罗航郝石磊邱本章陈叶飞李冀请求不公布姓名请求不公布姓名
申请(专利权)人:昆仑芯北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1