计算图处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开一种计算图处理方法、装置、电子设备及存储介质，计算图处理方法包括：解析机器学习模型以得到第一计算图，第一计算图包括多个计算节点；对第一计算图进行图级优化操作以得到第二计算图；图级优化操作包括地址传递流优化操作，地址传递流优化操作包括：根据第一计算图中多个计算节点的节点信息和数据依赖关系获取第一计算图的张量数据流；对张量数据流中的张量数据进行稀疏化处理得到相应的稀疏张量数据，稀疏张量数据采用张量感知的稀疏存储格式进行存储；根据张量数据流将稀疏张量数据的地址索引串联成地址传递流；根据地址传递流对第一计算图进行优化。本申请可以实现自动高效的稀疏计算，提高计算效率。

【技术实现步骤摘要】

本专利技术涉及计算机，更具体地，涉及一种计算图处理方法、装置、电子设备及存储介质。

技术介绍

1、当今人工智能的关键技术是神经网络，神经网络通过模拟人脑神经细胞连接，将大量的、简单的处理单元(称为神经元)广泛互连，形成的复杂网络系统。相邻两层神经元之间的计算过程可抽象为对输入数据执行两个计算步骤，这里的“计算步骤”在神经网络中被称为操作(operation，op)。在实际应用中，为便于分析神经网络结构、计算特点、数据流向，通常将神经网络所有op放在一起，组成计算图(computing graph)。随着深度神经网络性能的提升，模型的参数量和计算量也越来越大，严重制约了模型的计算速度。对实时性要求高的终端设备，资源需求高的神经网络模型更是大大增加了部署难度。相关技术中通过网络稀疏即减少连接层或神经元的数量对模型进行压缩，可以降低神经网络模型的计算量。模型的稀疏包括结构化稀疏和非结构化稀疏。非结构化稀疏是通过对矩阵中任意元素进行剪枝得到非规则的稀疏矩阵，但是会引入随机的内存访问和跳过零权值带来的分支判断问题。结构化稀疏是以通道或者滤波器为最小单位进行剪枝得到规本文档来自技高网...

【技术保护点】

1.一种计算图处理方法，其特征在于，包括：

2.根据权利要求1所述的计算图处理方法，其特征在于，所述张量感知的稀疏存储格式包括地址索引和非零值，所述地址索引包括至少一个张量维度索引，所述张量维度索引为稀疏张量数据中非零元素在张量维度上的位置信息，所述非零值为稀疏张量数据中非零元素的值。

3.根据权利要求2所述的计算图处理方法，其特征在于，当所述稀疏张量数据为二维张量时，所述地址索引包括行维度索引和/或列维度索引；

4.根据权利要求1所述的计算图处理方法，其特征在于，所述图级优化操作还包括形状推断优化操作，所述形状推断优化操作包括：</p>

5.根据...

【技术特征摘要】

1.一种计算图处理方法，其特征在于，包括：

2.根据权利要求1所述的计算图处理方法，其特征在于，所述张量感知的稀疏存储格式包括地址索引和非零值，所述地址索引包括至少一个张量维度索引，所述张量维度索引为稀疏张量数据中非零元素在张量维度上的位置信息，所述非零值为稀疏张量数据中非零元素的值。

3.根据权利要求2所述的计算图处理方法，其特征在于，当所述稀疏张量数据为二维张量时，所述地址索引包括行维度索引和/或列维度索引；

4.根据权利要求1所述的计算图处理方法，其特征在于，所述图级优化操作还包括形状推断优化操作，所述形状推断优化操作包括：

5.根据权利要求1所述的计算图处理方法，其特征在于，还包括：

6.一种计算图处理装置，其特征在于，包括：

7.根据权利要求6所述的计算图处理装置，其特征在于，所述张量感知的稀疏存储格式包括地址索引和非零值，所述地址...

【专利技术属性】
技术研发人员：蒋力，刘方鑫，黄世远，熊大鹏，李涛，
申请(专利权)人：苏州亿铸智能科技有限公司，
类型：发明
国别省市：