内存分配方法、装置及计算机设备制造方法及图纸

技术编号:41377754 阅读:17 留言:0更新日期:2024-05-20 10:20
本申请属于计算机技术领域,提供一种内存分配方法、装置及计算机设备。该方法基于最优层数设定值,从神经网络模型中获取多个节点的模型参数并存储至参数缓冲区;基于多个节点及模型参数在参数缓冲区的存储位置,更新第一预设地址数组;若神经网络模型中任一节点在第一预设地址数组对应的地址数量为预设数量,根据第一记录器中存储的第一地址对的地址长度及任一节点中未加载参数的参数长度,为神经网络模型中的未加载参数分配参数缓冲区中第一地址对的内存块;第一记录器存储有神经网络模型中完成推理运算的节点释放的地址信息。上述方法能够高效利用内存,并确保内存分配的计算性能。

【技术实现步骤摘要】

本申请属于计算机,具体涉及内存管理技术,尤其涉及一种内存分配方法、装置及计算机设备


技术介绍

1、随着人工智能的发展,神经网络模型的网络结构越来越复杂,导致神经网络模型占用的内存越来越大,造成硬件资源成本的剧增。因此,通过优化神经网络模型的占用内存,能够有效降低神经网络模型对硬件的要求。

2、相关技术中,通常通过判断预先申请的内存块是否能够被神经网络模型中的节点复用,以实现对神经网络模型的占用内存的优化。然而,当预先申请的内存块的容量大于节点所需的容量时,将导致内存块出现空间浪费的问题。当预先申请的容量小于节点所需的容量时,需重新申请新的内存块,导致占用大量的内存。此外,在判断内存块是否能够被复用时,需要逐一判断每个预先申请的内存块是否能够被神经网络模型中的节点复用,导致占用较大的算力。


技术实现思路

1、本申请提供一种内存分配方法、装置、计算机设备及存储介质,以解决无法高效利用内存的技术问题。

2、本申请实施例第一方面提供一种内存分配方法,所述方法包括:基于最优层数设定值,从神经网本文档来自技高网...

【技术保护点】

1.一种内存分配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的内存分配方法,其特征在于,在基于最优层数设定值,从神经网络模型中获取多个节点的模型参数并存储至参数缓冲区之前,所述方法还包括:

3.根据权利要求2所述的内存分配方法,其特征在于,所述确定参数容量阈值及所述最优层数设定值包括如下一种或多种方式:

4.根据权利要求1所述的内存分配方法,其特征在于,所述为所述神经网络模型中的未加载参数分配所述参数缓冲区中所述第一地址对的内存块包括:

5.根据权利要求1所述的内存分配方法,其特征在于,所述方法还包括:>

6.根据权利...

【技术特征摘要】

1.一种内存分配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的内存分配方法,其特征在于,在基于最优层数设定值,从神经网络模型中获取多个节点的模型参数并存储至参数缓冲区之前,所述方法还包括:

3.根据权利要求2所述的内存分配方法,其特征在于,所述确定参数容量阈值及所述最优层数设定值包括如下一种或多种方式:

4.根据权利要求1所述的内存分配方法,其特征在于,所述为所述神经网络模型中的未加载参数分配所述参数缓冲区中所述第一地址对的内存块包括:

5.根据权利要求1所述的内存分配方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的内存分配方法,其特征在于,在从推理内存中确定输出...

【专利技术属性】
技术研发人员:黄家冕
申请(专利权)人:广州商耘网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1