一种内存管理方法、装置、电子设备、芯片及存储介质制造方法及图纸

技术编号:43470023 阅读:19 留言:0更新日期:2024-11-27 13:08
本公开提供一种内存管理方法、装置、电子设备、芯片及存储介质,该方法包括:基于多种处理器的多个算子所占用的内存大小,确定终端的共享内存的大小;分别获取多种处理器对共享内存的第一读取时间和第一写入时间;基于第一读取时间和第一写入时间,确定多个算子中第一算子对共享内存的第二读取时间和/或第二写入时间,评估异构体系中执行每个算子对共享内存的访存速度,可以应用于异构场景下的深度学习计算,为调度与划分深度学习运算子图提供指导方向。

【技术实现步骤摘要】

本公开涉及异构计算领域,尤其涉及一种内存管理方法及装置、电子设备、芯片及存储介质。


技术介绍

1、针对智能终端上深度学习的推理计算,从使用cpu(central processing unit,中央处理器)进行运算,到使用gpu(graphics processing unit,图形处理器)进行加速运算,再到目前对硬件做了特定优化的神经网络运算单元npu(neural network processingunit,神经网络处理器)。芯片针对特定场景的运算能力不断加强,同时,也伴随着泛化能力的减弱,通用性的降低,异构的提出,较好的兼顾了通用性与运算速度的矛盾关系。而多核异构框架存在大量的核间通信与大数据量的共享问题,异构设备上共享内存的访存速度对于调度与划分深度学习运算子图具有指导意义。


技术实现思路

1、本公开提供一种内存管理方法、装置、电子设备、芯片以及存储介质,以解决相关技术中的问题,评估多个处理器中执行每个算子对共享内存的访存速度,可以应用于异构场景下的深度学习计算,为调度与划分深度学习运算子图提供指导本文档来自技高网...

【技术保护点】

1.一种内存管理方法,其特征在于,所述方法应用于终端,所述终端包括多种处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多种处理器的多个算子所占用的内存大小,确定所述终端的共享内存的大小包括:

3.根据权利要求2所述的方法,其特征在于,所述分别获取所述多种处理器对所述共享内存的读取时间和写入时间,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第一读取时间和所述第一写入时间,确定所述多个算子中第一算子对共享内存的第二读取时间和/或第二写入时...

【技术特征摘要】

1.一种内存管理方法,其特征在于,所述方法应用于终端,所述终端包括多种处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多种处理器的多个算子所占用的内存大小,确定所述终端的共享内存的大小包括:

3.根据权利要求2所述的方法,其特征在于,所述分别获取所述多种处理器对所述共享内存的读取时间和写入时间,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第一读取时间和所述第一写入时间,确定所...

【专利技术属性】
技术研发人员:曾超张路张枫璐王琳
申请(专利权)人:上海玄戒技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1