【技术实现步骤摘要】
计算图处理方法、装置、设备、存储介质以及程序产品
[0001]本公开涉及计算机技术、数据处理
,尤其涉及人工智能、深度学习、芯片
,具体涉及一种计算图处理方法、装置、设备、存储介质以及程序产品。
技术介绍
[0002]随着深度学习技术的发展,训练更大的深度学习模型成为一种提高模型精度和性能的主流趋势。更大的深度学习模型需要更多数据进行训练,这对例如图形处理器等硬件单元的资源提出了更大的需求。
技术实现思路
[0003]本公开提供了一种计算图处理方法、装置、设备、存储介质以及程序产品。
[0004]根据本公开的一方面,提供了一种计算图处理方法,包括:将深度学习模型的计算图划分为多个计算图分段;确定每一个计算图分段在硬件单元上运行的资源占用
‑
运算比,其中,资源占用
‑
运算比表征计算图分段相对于硬件单元的资源占用量和运算量之间的比值;根据硬件单元的可用资源量和计算图分段的资源占用
‑
运算比,确定目标计算图分段;以及根据目标计算图分段,修改计算图,得到更新计算图。
[0005]根据本公开的另一方面,提供了一种计算图处理装置,包括:计算图分段确定模块、资源占用
‑
运算比确定模块、目标计算图分段确定模块以及更新计算图确定模块。计算图分段确定模块,用于将深度学习模型的计算图划分为多个计算图分段。资源占用
‑
运算比确定模块,用于确定每一个计算图分段在硬件单元上运行的资源占用
‑
运算
【技术保护点】
【技术特征摘要】
1.一种计算图处理方法,包括:将深度学习模型的计算图划分为多个计算图分段;确定每一个所述计算图分段在硬件单元上运行的资源占用
‑
运算比,其中,所述资源占用
‑
运算比表征所述计算图分段相对于所述硬件单元的资源占用量和运算量之间的比值;根据所述硬件单元的可用资源量和所述计算图分段的所述资源占用
‑
运算比,确定目标计算图分段;以及根据所述目标计算图分段,修改所述计算图,得到更新计算图。2.根据权利要求1所述的方法,还包括:根据所述硬件单元的总资源量与不可用资源量,确定所述可用资源量,其中,所述不可用资源量表征所述深度学习模型的模型状态变量的资源占用量,所述可用资源量表征所述深度学习模型的中间变量的资源占用量,所述模型状态变量表征与所述深度学习模型的模型参数相关的变量,所述中间变量表征与所述深度学习模型训练的样本批处理相关的变量。3.根据权利要求2所述的方法,其中,所述计算图包括节点,所述节点表征张量或者运算操作;所述根据所述目标计算图分段,修改所述计算图,得到更新计算图包括:根据所述目标计算图分段中与所述深度学习模型的前向传播相关的节点,确定第一修改节点;根据所述目标计算图分段中与所述深度学习模型的反向传播相关的节点,确定第二修改节点;在所述第一修改节点增加释放资源节点,在所述第二修改节点增加重计算节点,得到所述更新计算图,其中,所述释放资源节点用于释放所述第一修改节点的所述中间变量的资源占用量,所述重计算节点用于对所述第二修改节点对应的所述中间变量进行重计算。4.根据权利要求3所述的方法,其中,所述计算图还包括连接边,所述连接边表征所述节点之间的相关性和方向;所述将深度学习模型的计算图划分为多个计算图分段包括:根据所述计算图的所述节点和所述连接边,确定所述计算图对应的计算序列,其中,所述计算序列对应的所述运算操作和所述张量的执行顺序为串行;以及将所述计算序列划分为多个所述计算图分段。5.根据权利要求4所述的方法,其中,所述将所述计算序列划分为多个所述计算图分段包括:根据所述深度学习模型的模型结构,将所述计算序列划分为多个所述计算图分段,其中,所述模型结构包括至少一个重复结构,所述重复结构包括结构相同的至少一个网络层,所述计算图分段对应所述重复结构。6.根据权利要求4所述的方法,其中,所述将所述计算序列划分为多个所述计算图分段包括:根据所述计算序列对应的所述运算操作的数量,将所述计算序列划分为多个所述计算图分段。7.根据权利要求2所述的方法,其中,所述根据所述硬件单元的可用资源量和所述计算图分段的所述资源占用
‑
运算比,确定目标计算图分段包括:根据所述计算图分段的所述资源占用
‑
运算比,对至少一个所述计算图分段进行排序,
得到计算图分段序列;以及针对所述计算图分段序列中第i个计算图分段,根据资源占用
‑
运算比、所述可用资源量和所述计算图分段的在所述硬件单元上运行的资源占用量,确定所述第i个计算图分段是否为所述目标计算图分段。8.根据权利要求1
‑
7中任一项所述的方法,还包括:利用所述更新计算图,在所述硬件单元上训练所述深度学习模型。9.根据权利要求1
‑
7中任一项所述的方法,其中,所述硬件单元包括以下中的至少一个:图像处理器、中央处理器以及神经网络处理器。10.一种计算图处理装置,包括:计算图分段确定模块,用于将深度学习模型的计算图划分为多个计算图分段;资源占用
‑
运算比确定模块,用于确定每一个所述计算图分段在硬件单元上运行的资源占用
‑
运算比,其中,所述资源占用
‑
运算比表征所述计算图分段相对于所述硬件单元的资源占用量和运算量之间的比值;目标计算图分段确定模块,用于根据所述硬件单元的可用资源量和所述计算图分段的所述资源占...
【专利技术属性】
技术研发人员:梁建中,赵英利,曹州,敖玉龙,于佃海,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。