存储方法、计算方法、存储装置、众核系统、介质制造方法及图纸

本公开提供了一种神经网络连接权重存储方法，所述方法包括：获取神经网络的待处理神经元的权重索引，所述待处理神经元的权重索引包括与所述待处理神经元的所有前端神经元一一对应的标识信息，每个标识信息用于表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重是否为零；获取所述待处理神经元的有效权重值，所述待处理神经元的有效权重值包括所有与所述待处理神经元的连接权重不为零的前端神经元对应的连接权重；存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值。本公开还提供了一种神经网络的神经元输入数据计算的方法、神经网络连接权重存储装置、众核系统、计算机可读介质。机可读介质。机可读介质。

Storage methods, calculation methods, storage devices, core systems, media

【技术实现步骤摘要】
存储方法、计算方法、存储装置、众核系统、介质


[0001]本公开涉及人工智能
，特别涉及一种神经网络连接权重存储方法、神经网络的神经元输入数据计算的方法、神经网络连接权重存储装置、众核系统、计算机可读介质。

技术介绍

[0002]随着人工智能技术的不断发展，神经网络的应用也越来越广泛，人工智能技术中的神经网络由大量神经元构成，每个神经元可以连接其他神经元，神经元之间的连接强度由连接权重表示。
[0003]连接权重的精度越高，神经网络的性能(如准确率)也就越好，但连接权重的精度越高，其占用的存储空间也就越大，神经网络的存储代价也会随之变大。

技术实现思路

[0004]本公开提供一种神经网络连接权重存储方法、神经网络的神经元输入数据计算的方法、神经网络连接权重存储装置、众核系统、计算机可读介质。
[0005]第一方面，本公开提供了一种神经网络连接权重存储方法，该神经网络连接权重存储方法包括：获取神经网络的待处理神经元的权重索引，所述待处理神经元的权重索引包括与所述待处理神经元的所有前端神经元一一对应的标识信息，每个标识信息用于表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重是否为零；获取所述待处理神经元的有效权重值，所述待处理神经元的有效权重值包括所有与所述待处理神经元的连接权重不为零的前端神经元对应的连接权重；存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值。
[0006]第二方面，本公开提供了一种神经网络的神经元输入数据计算的方法，所述神经网络至少存在一个目标神经元，所述目标神经元与前端神经元的连接权重使用上述的神经网络连接权重存储方法存储，所述方法包括：根据所述目标神经元的前端神经元的输出数据、前端神经元对应的标识信息、以及前端神经元与所述目标神经元的连接权重计算所述目标神经元的输入数据。
[0007]第三方面，本公开提供了一种神经网络连接权重存储装置，该神经网络连接权重存储装置包括：第一模块，用于获取神经网络的待处理神经元的权重索引，所述待处理神经元的权重索引包括与所述待处理神经元的所有前端神经元一一对应的标识信息，每个标识信息用于表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重是否为零；第二模块，用于获取所述待处理神经元的有效权重值，所述待处理神经元的有效权重值包括所有与所述待处理神经元的连接权重不为零的前端神经元对应的连接权重；第三模块，用于存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值。
[0008]第四方面，本公开提供了一种众核系统，该众核系统包括：多个处理核，至少部分
处理核上有神经元，多个处理核上的神经元组成神经网络；存储空间，其上存储有使用上述的神经网络连接权重存储方法存储的数据；片上网络，被配置为交互所述多个处理核间的数据以及存储空间存储的数据；一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行上述的神经网络的神经元输入数据计算的方法。
[0009]第五方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现上述的神经网络连接权重存储方法，上述的神经网络的神经元输入数据计算的方法。
[0010]本公开所提供的神经网络连接权重存储方法、神经网络的神经元输入数据计算的方法、神经网络连接权重存储装置、众核系统、计算机可读介质，只需要对连接权重不为零的连接权重进行存储，在待处理神经元与一个或多个前端神经元的连接权重为零的情况下，可以节省连接权重存储所占用的空间。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0013]图1为本公开实施例提供的一种神经网络连接权重存储方法的流程图；
[0014]图2为本公开实施例提供的一种神经网络的神经元输入数据计算的方法的流程图；
[0015]图3为本公开实施例提供的另一种神经网络的神经元输入数据计算的方法的流程图；
[0016]图4为神经网络的部分神经元的连接示意图；
[0017]图5为使用本公开实施提供的一种神经网络连接权重存储方法获取的神经元的权重索引和有效权重值；
[0018]图6为本公开实施例提供的一种神经网络连接权重存储装置的组成框图；
[0019]图7为本公开实施例提供的一种众核系统的组成框图。
具体实施方式
[0020]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0022]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0023]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用
的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0024]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0025]图1为本公开实施例提供的一种神经网络连接权重存储方法的流程图。
[0026]参照图1，本公开实施例提供一种神经网络连接权重存储方法。
[0027]本公开实施例的神经网络可以是脉冲神经网络(Spiking Neural Network，SNN)，也可以是人工神经网络(Artificial Neural Network，ANN)，也可以是其他由多个神经元组成的神经网络，用于执行图像处理任务、语音处理任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络连接权重存储方法，包括：获取神经网络的待处理神经元的权重索引，所述待处理神经元的权重索引包括与所述待处理神经元的所有前端神经元一一对应的标识信息，每个标识信息用于表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重是否为零；获取所述待处理神经元的有效权重值，所述待处理神经元的有效权重值包括所有与所述待处理神经元的连接权重不为零的前端神经元对应的连接权重；存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值。2.根据权利要求1所述的神经网络连接权重存储方法，其中，所述神经网络为加载在众核系统的神经网络，则所述存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值，包括：将所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值存储在众核系统外的外加存储空间。3.根据权利要求1所述的神经网络连接权重存储方法，其中，所述神经网络为加载在众核系统的神经网络，则所述存储所述待处理神经元的权重索引以及与所述权重索引中标识信息的顺序相对应的有效权重值，包括：将所述待处理神经元的权重索引以及所述权重索引中标识信息的顺序相对应的有效权重值存储在所述众核系统的片上存储空间。4.根据权利要求1所述的神经网络连接权重存储方法，其中，每个标识信息为1位数据，0表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重为零，1表示与该标识信息对应的前端神经元与所述待处理神经元的连接权重不为零。5.一种神经网络的神经元输入数据的计算方法，所述神经网络至少存在一个目标神经元，所述目标神经元与前端神经元的连接权重使用权利要求1至4中任意一项所述的神经网络连接权重存储方法存储，所述目标神经元与前端神经元的连接权重包括权重索引，所述权重索引包括与所述目标神经元的前端神经元一一对应的标识信息，每个标识信息表示与该标识信息对应的前端神经元与目标神经元的连接权重是否为零，所述方法包括：根据所述目标神经元的前端神经元的输出数据、前端神经元对应的标识信息、以及前端神经元与所述目标神经元的连接权重计算所述目标神经元的输入数据；所述目标神经元的前端神经元的输出数据包括该前端神经元的发放信息。6.根据权利要求5所述的神经网络的神经元输入数据的计算方法，其中，所述根据所述目标神经元的前端神经元的输出数据、前端神经元对应的标识信息、以及前端神经元与所述目标神经元的连接权重计算所述目标神经元的输入数据，包括：根据所述目标神经元的前端神经元的输出数据与前端神经元对应的标识信息的与运算结果，以及前端神经元与所述目标神经元的连...

【专利技术属性】
技术研发人员：何伟，沈杨书，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：