一种内存优化方法、装置、设备及介质制造方法及图纸

技术编号:37676457 阅读:25 留言:0更新日期:2023-05-26 04:41
本发明专利技术公开了一种内存优化方法、装置、设备及介质。内存优化方法,包括:在初始计算图符合片内分布式计算条件时,对初始计算图进行节点划分,确定待布局节点;根据待布局节点的节点连接关系以及片内分布式计算核的数量,对待布局节点进行布局,得到目标计算图集合;在通过片内分布式计算核进行模型训练时,将目标计算图集合上关联的模型参数、梯度变量以及优化器状态变量进行等量拆分以及亲和存储;在通过片内分布式计算核进行模型推理时,将目标计算图集合上关联的模型参数进行等量拆分以及亲和存储。本发明专利技术实施例的技术方案能够在片内分布式计算时,充分利用芯片的内存和计算力,提高芯片计算速度以及系统性能。高芯片计算速度以及系统性能。高芯片计算速度以及系统性能。

【技术实现步骤摘要】
一种内存优化方法、装置、设备及介质


[0001]本专利技术涉及存储
,尤其涉及一种内存优化方法、装置、设备及介质。

技术介绍

[0002]目前,分布式系统在许多领域和行业中都有所应用,市场前景非常好。在分布式系统中,内存是影响分布式系统性能十分关键的因素。然而,现有分布式系统中的内存资源的消耗量较大,影响了分布式系统的性能表现。
[0003]现有的ASIC芯片和计算框架(如TensorFlow或pytorch等)对于片内分布式深度学习计算的支持优化主要是数据并行以及单个算子在多核的拆分。在超大模型计算时,由于模型参数、梯度以及优化器在卡内存储的冗余,无法充分提升芯片的存储力、计算力以及带宽的利用率。多核ASIC芯片由于受到算子的差异、存储亲和力、访问冲突等影响,很难充分利用计算和存储,造成浪费。

技术实现思路

[0004]本专利技术提供了一种内存优化方法、装置、设备及介质,以解决片内分布式计算时内存和计算力无法得到充分利用的情况。
[0005]根据本专利技术的一方面,提供了一种内存优化方法,包括:
本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种内存优化方法,其特征在于,包括:在初始计算图符合片内分布式计算条件时,对所述初始计算图进行节点划分,确定待布局节点;根据待布局节点的节点连接关系以及片内分布式计算核的数量,对所述待布局节点进行布局,得到目标计算图集合;在通过所述片内分布式计算核进行模型训练时,将所述目标计算图集合上关联的模型参数、梯度变量以及优化器状态变量进行等量拆分以及亲和存储;在通过所述片内分布式计算核进行模型推理时,将所述目标计算图集合上关联的模型参数进行等量拆分以及亲和存储。2.根据权利要求1所述的方法,其特征在于,所述对所述初始计算图进行节点划分,确定待布局节点,包括:对所述初始计算图中的节点进行划分,确定所述初始计算图中的输入节点、主计算节点以及共享节点;将所述输入节点、所述主计算节点以及所述共享节点,作为所述待布局节点。3.根据权利要求2所述的方法,其特征在于,所述根据待布局节点的节点连接关系以及片内分布式计算核的数量,对所述待布局节点进行布局,得到目标计算图集合,包括:根据所述片内分布式计算核的数量,对所述待布局节点中的输入节点进行重构操作,得到各重构输入节点,并对待布局节点中的主计算节点进行复制操作,得到各主计算复制节点;根据所述待布局节点的节点连接关系,对各所述重构输入节点、共享节点以及各所述主计算复制节点进行布局,得到所述目标计算图集合。4.根据权利要求3中所述的方法,其特征在于,所述根据所述待布局节点的节点连接关系,对各所述重构输入节点、共享节点以及各所述主计算复制节点进行布局,得到所述目标计算图集合,包括:对各所述主计算复制节点进行分组,确定各目标计算复制节点集合;根据所述待布局节点的节点连接关系、当前重构输入节点、当前目标计算复制节点集合以及所述共享节点,确定所述目标计算图集合中的当前目标计算图。5.根据权利要求4所述的方法,其特征在于,所述在通过所述片内分布式计算核进行模型训练时,将所述目标计算图集合上关联的模型参数、梯度变量以及优化器状态变量进行等量拆分以及亲和存储,包括:获取底层调度时的可训练变量亲和数据以及优化器状态亲和数据;在通过所述片内分布式计算核进行模型训练时,将所述目标计算图集合上关联的所述模型参数进行等量拆分,得到各模型参数拆分结果,并将所述目标计算图集合上关联的梯度变量进行等量拆分,得到各梯度变量拆分结果;根据所述可训练变量亲和数据,将各所述模型参数拆分结果以及各所述梯度变量拆分结果,在相应片内分布式计算核进行亲和存储;将所述优化器状态变量进行等量拆分,得到各优化...

【专利技术属性】
技术研发人员:朱姗方智毅
申请(专利权)人:上海燧原科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1