计算任务的执行方法、装置、芯片、设备和存储介质制造方法及图纸

技术编号:40973443 阅读:15 留言:0更新日期:2024-04-18 21:22
本公开提供了一种计算任务的执行方法、装置、芯片、设备、存储介质以及程序产品,涉及计算机技术领域,尤其涉及资源分配和芯片技术领域。具体实现方案为:确定用于执行计算任务的多个计算节点各自的初始吞吐量;根据初始吞吐量,从多个计算节点中确定多个目标计算节点,多个目标计算节点的初始吞吐量小于吞吐量阈值;针对多个计算节点集合的每个计算节点集合,确定每个计算节点集合独占缓存资源的情况下执行计算任务产生的总吞吐量,得到多个总吞吐量,每个计算节点集合包括多个目标计算节点中至少一个目标计算节点;在目标计算节点集合独占缓存资源的情况下,执行计算任务,目标计算节点集合为与多个总吞吐量中的最大总吞吐量对应计算节点集合。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及资源分配和芯片。


技术介绍

1、在类神经网络处理器(neural network processing unit,npu)的硬件架构中运行多个模型时,多个模型各自的运行进程抢占使用高速缓存,这会造成高速缓存的利用率低下,运行效率低等问题。


技术实现思路

1、本公开提供了一种计算任务的执行方法、装置、芯片、设备、存储介质以及程序产品。

2、根据本公开的一方面,提供了一种计算任务的执行方法,包括确定用于执行计算任务的多个计算节点各自的初始吞吐量;根据初始吞吐量,从多个计算节点中确定多个目标计算节点,多个目标计算节点的初始吞吐量小于吞吐量阈值;针对多个计算节点集合的每个计算节点集合,确定每个计算节点集合独占缓存资源的情况下执行计算任务产生的总吞吐量,得到多个总吞吐量,每个计算节点集合包括多个目标计算节点中的至少一个目标计算节点;以及在目标计算节点集合独占缓存资源的情况下,执行计算任务,其中,目标计算节点集合为与多个总吞吐量中的最大总吞吐量对应计算节点集合。</p>

3、根据本文档来自技高网...

【技术保护点】

1.一种计算任务的执行方法,包括:

2.根据权利要求1所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

3.根据权利要求2所述的方法,其中,所述确定所述瓶颈计算节点独占所述缓存资源的情况下执行所述计算任务产生的第一总吞吐量包括:

4.根据权利要求2所述的方法,其中,所述确定所述多个目标计算节点共享所述缓存资源的情况下执行所述计算任务产生的第二总吞吐量包括:

5.根据权利要求1或2所述的方法,其中,所述针对多个计算节点集合的每个计算...

【技术特征摘要】

1.一种计算任务的执行方法,包括:

2.根据权利要求1所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

3.根据权利要求2所述的方法,其中,所述确定所述瓶颈计算节点独占所述缓存资源的情况下执行所述计算任务产生的第一总吞吐量包括:

4.根据权利要求2所述的方法,其中,所述确定所述多个目标计算节点共享所述缓存资源的情况下执行所述计算任务产生的第二总吞吐量包括:

5.根据权利要求1或2所述的方法,其中,所述针对多个计算节点集合的每个计算节点集合,确定所述每个计算节点集合独占缓存资源的情况下执行所述计算任务产生的总吞吐量,得到多个总吞吐量包括:

6.根据权利要求1所述的方法,其中,所述确定用于执行计算任务的多个计算节点各自的初始吞吐量包括:

7.根据权利要求1所述的方法,其中,所述在目标计算节点集合独占所述缓存资源的情况下,执行所述计算任务包括:

8.一种计算任务的执行装置,包括:

【专利技术属性】
技术研发人员:顾海仑刘梁罗航郝石磊邱本章陈叶飞李冀请求不公布姓名请求不公布姓名
申请(专利权)人:昆仑芯北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1