一种神经网络的运算方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种神经网络的运算方法、装置、计算机设备和存储介质。神经网络的运算方法，包括：获取目标神经网络模型至少一层稀疏网络层，获取每层稀疏网络层的权重数据中非零权重数据的位置信息；获取每层稀疏网络层的待传输数据，并基于所述非零权重数据的位置信息获取与非零数据非零权重数据的位置信息对应的目标传输数据；传输目标传输数据，依据非零数据的位置信息存储目标传输数据和/或基于目标传输数据进行运算。本发明专利技术能够有效降低需要传输和存储的数据量，从而提升传输和存储数据的效率，以及降低对应所需的功耗，并提升运算效率。效率。效率。

【技术实现步骤摘要】
一种神经网络的运算方法、装置、计算机设备和存储介质


[0001]本专利技术涉及神经网络
，尤其涉及一种神经网络的运算方法、装置、计算机设备和存储介质。

技术介绍

[0002]在深度学习等领域会采用矩阵来存储数据，当矩阵较为庞大，运算效率和存储效率并不高。一般会采用压缩的方式来存储矩阵，以提高存储和运算效率。
[0003]经过压缩后的神经网络模型，权重和特征映射的稀疏性不太高，只存储非零元素需要额外的索引信息，这对于稀疏度不高的神经网络而言是一个很高的开销，反而增大了存储量和数据传输量。

技术实现思路

[0004]基于此，有必要针对上述问题，提出了一种神经网络的运算方法、装置、计算机设备和存储介质，能够有效提升传输和存储数据的效率，降低传输和存储所需的功耗，并提升运算效率。
[0005]一种神经网络的运算方法，包括：
[0006]从目标神经网络模型的所有网络层中选择至少一层作为稀疏网络层，获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息；
[0007]获取每层所述稀疏网络层的待传输数据，并基于所述非零权重数据的位置信息获取与所述非零权重数据的位置信息对应的目标传输数据；
[0008]传输所述目标传输数据，依据所述非零权重数据的位置信息存储所述目标传输数据和/或基于所述目标传输数据进行运算。
[0009]其中，所述待传输数据包括权重数据和运算数据；所述目标传输数据包括非零权重数据和与所述非零权重数据对应的目标运算数据；
[0010]所述基于所述目标传输数据进行运算的步骤，包括：
[0011]判断所述目标运算数据是否为零值运算数据，若所述目标运算数据为零值运算数据，则不进行所述零值运算数据和与其对应的非零权重数据的运算。
[0012]其中，所述获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息的步骤之后，包括：
[0013]根据所述非零权重数据的位置信息生成非零权重数据位置表格；
[0014]所述基于所述非零权重数据的位置信息获取与所述非零权重数据的位置信息对应的目标传输数据的步骤，包括：
[0015]基于所述非零权重数据位置表格与所述待传输数据进行对照，，若所述待传输数据与所述非零权重数据位置表格中记录的非零位置对应，则将所述待传输数据作为目标传输数据。
[0016]其中，所述依据所述非零权重数据的位置信息存储所述目标传输数据的步骤，包
括：
[0017]依据所述非零权重数据位置表格的所述非零位置存储所述目标传输数据。
[0018]其中，所述获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息的步骤之后，包括：
[0019]删除所述权重数据中的零值权重数据，保留所述非零权重数据。
[0020]其中，所述获取目标神经网络模型至少一层稀疏网络层的步骤，包括：
[0021]获取所述目标神经网络模型的描述信息和权重特征信息，基于所述描述信息和所述权重特征信息从所述目标神经网络模型的所有网络层中选出至少一层作为稀疏网络层。
[0022]其中，所述获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息的步骤，包括：
[0023]结合所述权重特征信息获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息。
[0024]一种神经网络的运算装置，用于实现权利要求1至7中任一项所述方法的步骤，包括：
[0025]运算芯片，用于从目标神经网络模型的所有网络层中选择至少一层作为稀疏网络层，获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息；获取每层所述稀疏网络层的待传输数据，并基于所述非零权重数据的位置信息获取与所述非零权重数据的位置信息对应的目标传输数据；
[0026]通信接口，连接所述运算芯片，用于传输所述目标传输数据；
[0027]动态随机存取器，连接所述通信接口，用于接收所述目标传输数据；
[0028]缓冲器，连接所述动态随机存取器，用于存储所述目标传输数据；
[0029]存储器访问器，连接所述缓冲器，用于依据所述非零权重数据的位置信息存储所述目标传输数据至所述缓冲器；和/或
[0030]计算引擎，连接所述缓冲器，用于读取所述目标传输数据并基于所述目标传输数据进行运算。
[0031]一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的步骤。
[0032]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的步骤。
[0033]采用本专利技术实施例，具有如下有益效果：
[0034]由于零值权重数据对应的乘加运算为无效运算，因此获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息，获取该稀疏网络层的待传输数据中与非零权重数据的位置信息对应的目标传输数据，仅传输目标传输数据，不对零值权重对应的数据进行传输和/或存储，能有效减少需要传输的数据量和/或需要存储的数据量，这样传输和/或存储数据的效率得到了提升，对应所需的功耗得到了降低，以及后续进行运算时，仅需要依据目标传输数据进行运算，运算量也大大减少，有效提升了运算效率。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]其中：
[0037]图1是本专利技术提供的神经网络的运算方法的第一实施例的流程示意图；
[0038]图2是本专利技术提供的神经网络的运算方法的第二实施例的流程示意图；
[0039]图3是本专利技术提供的目标神经网络模型中各稀疏网络层的稀疏度信息统计图；
[0040]图4是本专利技术提供的非零权重数据位置表格的示意图；
[0041]图5是本专利技术提供的神经网络的运算装置的一实施例的结构示意图；
[0042]图6是本专利技术提供的计算机设备的一实施例的结构示意图；
[0043]图7是本专利技术提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
[0044]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0045]请参阅图1，图1是本专利技术提供的神经网络的运算方法的第一实施例的流程示意图。本专利技术提供的神经网络的运算方法包括如下步骤：
[0046]S101：从目标神经网络模型的所有网络层中选择至少一层作为稀疏网络层，获取每层稀疏网络层的权重数据中非零本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的运算方法，其特征在于，包括：从目标神经网络模型的所有网络层中选择至少一层作为稀疏网络层，获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息；获取每层所述稀疏网络层的待传输数据，并基于所述非零权重数据的位置信息获取与所述非零权重数据的位置信息对应的目标传输数据；传输所述目标传输数据，依据所述非零权重数据的位置信息存储所述目标传输数据和/或基于所述目标传输数据进行运算。2.根据权利要求1所述的神经网络的运算方法，其特征在于，所述待传输数据包括权重数据和运算数据；所述目标传输数据包括非零权重数据和与所述非零权重数据对应的目标运算数据；所述基于所述目标传输数据进行运算的步骤，包括：判断所述目标运算数据是否为零值运算数据，若所述目标运算数据为零值运算数据，则不进行所述零值运算数据和与其对应的非零权重数据的运算。3.根据权利要求1所述的神经网络的运算方法，其特征在于，所述获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息的步骤之后，包括：根据所述非零权重数据的位置信息生成非零权重数据位置表格；所述基于所述非零权重数据的位置信息获取与所述非零权重数据的位置信息对应的目标传输数据的步骤，包括：基于所述非零权重数据位置表格与所述待传输数据进行对照，，若所述待传输数据与所述非零权重数据位置表格中记录的非零位置对应，则将所述待传输数据作为目标传输数据。4.根据权利要求3所述的神经网络的运算方法，其特征在于，所述依据所述非零权重数据的位置信息存储所述目标传输数据的步骤，包括：依据所述非零权重数据位置表格中的所述非零位置存储所述目标传输数据。5.根据权利要求1
‑
4任一项所述的神经网络的运算方法，其特征在于，所述获取每层所述稀疏网络层的权重数据中非零权重数据的位置信息的步骤之后，包括：删除所述权重数据中的零值权重数据，...

【专利技术属性】
技术研发人员：唐海琪，蔡权雄，牛昕宇，熊超，
申请(专利权)人：山东产研鲲云人工智能研究院有限公司，
类型：发明
国别省市：