神经网络构建方法及装置、设备、介质制造方法及图纸

本公开提供了一种神经网络构建方法及装置、设备、介质，属于人工智能芯片技术领域，用以减少跨众核芯片的传输。该方法包括：获取多个初始神经元簇并进行分组，分别获得多个迷你神经元簇；获取每个初始神经元簇内各迷你神经元簇的簇内连接权重矩阵；获取在不同初始神经元簇之间的簇间连接权重矩阵，簇间连接为稀疏连接；基于簇内连接权重矩阵和簇间连接权重矩阵对迷你神经元簇进行聚合，得到初始神经元簇的稀疏连接权重矩阵；基于初始神经元簇的稀疏连接权重矩阵构建神经形态网络。本公开提供的方法可应用于众核芯片，减少跨众核芯片的传输以及处理核资源的占用。以及处理核资源的占用。以及处理核资源的占用。

【技术实现步骤摘要】
神经网络构建方法及装置、设备、介质


[0001]本公开涉及人工智能芯片
，特别涉及一种神经网络构建方法及装置、设备、介质。

技术介绍

[0002]在生物神经网络中，前神经元胞体产生脉冲信号，经轴突末梢传递给突触，再经突触传递给后神经元树突的前端，由此实现脉冲信号的单向传递。受此启发，利用众核结构类脑计算芯片进行神经形态网络计算中，前神经元簇发放脉冲序列，脉冲序列经过突触权重计算得到突触后电流序列，突触后电流序列传递给后神经元簇。由此可见，在神经形态网络计算中，前神经元簇的脉冲序列需要经过一定的突触连接才能传递给后神经元簇。

技术实现思路

[0003]本公开提供一种神经网络构建方法及装置、设备、介质。
[0004]第一方面，本公开提供了一种神经网络构建方法，包括：获取多个初始神经元簇；对每个所述初始神经元簇进行分组，分别获得多个迷你神经元簇；获取每个所述初始神经元簇内各所述迷你神经元簇的簇内连接权重矩阵；其中，所述簇内连接权重包括所述迷你神经元簇内突触自连对应的自连权重和所述迷你神经元簇之间突触互连对应的互连权重；获取在不同所述初始神经元簇之间的簇间连接权重矩阵，其中，所述簇间连接为稀疏连接；基于所述簇内连接权重矩阵和所述簇间连接权重矩阵对所述迷你神经元簇进行聚合，得到所述初始神经元簇的稀疏连接权重矩阵；基于所述初始神经元簇的稀疏连接权重矩阵构建神经形态网络。
[0005]第二方面，本公开提供了一种网络仿真方法，包括：通过本公开实施例提供的所述的神经网络构建方法构建的神经形态网络；将所述神经形态网络中突触连接权重大于或等于预设的权重阈值的突触连接映射到同一或相邻的所述众核芯片；将所述神经形态网络中突触连接权重小于预设的权重阈值的突触连接映射到不同的所述众核芯片；其中，所述众核芯片包括多个处理核。
[0006]第三方面，本公开提供了一种神经网络构建装置，包括：创建模块，用于获取多个初始神经元簇；分组模块，用于对每个所述初始神经元簇进行分组，分别获得多个迷你神经元簇；第一获取模块，用于获取每个所述初始神经元簇内各所述迷你神经元簇的簇内连接权重矩阵；其中，所述簇内连接权重包括所述迷你神经元簇内突触自连对应的自连权重和所述迷你神经元簇之间突触互连对应的互连权重；第二获取模块，用于获取在不同所述初始神经元簇之间的簇间连接权重矩阵，其
中，所述簇间连接为稀疏连接；聚合模块，用于基于所述簇内连接权重矩阵和所述簇间连接权重矩阵对所述迷你神经元簇进行聚合，得到所述初始神经元簇的稀疏连接权重矩阵；构建模块，用于基于所述初始神经元簇的稀疏连接权重矩阵构建神经形态网络。
[0007]第四方面，本公开提供了一种电子设备，该电子设备包括：多个处理核；以及，片上网络，被配置为交互所述多个处理核间的数据和外部数据；其中，一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行上述的神经网络构建方法或网络仿真方法。
[0008]第五方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的神经网络构建方法或网络仿真方法。
[0009]本公开所提供的实施例，对每个所述初始神经元簇进行分组，分别获得多个迷你神经元簇；获取每个所述初始神经元簇内各所述迷你神经元簇的簇内连接权重矩阵；以及，获取在不同所述初始神经元簇之间的簇间连接权重矩阵，所述簇间连接为稀疏连接；基于所述簇内连接权重矩阵和所述簇间连接权重矩阵对所述迷你神经元簇进行聚合，得到初始神经元簇的稀疏连接权重矩阵；最后，基于初始神经元簇的稀疏连接权重矩阵构建神经形态网络，由于该神经形态网络是基于簇间连接权重和簇内连接权重对初始神经元簇的突触连接进行稀疏化处理，提高了初始神经元簇的簇内连接，确保每个初始神经元簇内的簇内连接充分，同时减少了不同初始神经元簇之间的簇间连接，在将该神经形态网络映射到众核芯片时，将同一初始神经元簇内突触连接较为紧密的迷你神经元簇映射至相同或相邻芯片中，突触连接较少或无连接的初始神经元簇映射到不同的芯片，从而减少脉冲序列跨众核芯片的传输，减少处理核资源的占用。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：图1为本公开实施例提供的一种神经网络构建方法的流程图；图2为本公开实施例提供的一种神经形态网络的结构示意图；图3为本公开实施例提供的神经形态网络的连接权重矩阵图；图4为本公开实施例中对神经元簇进行分组的流程图；图5为本公开实施例提供的一种网络仿真方法的流程图；图6为本公开实施例提供的一种神经网络构建装置的结构示意图；图7为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0012]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的
示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0013]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0014]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0015]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0016]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0017]神经元是神经系统的基本结构和功能单位，突触是两个神经元的互联位置，是神经元之间信息传递的关键部位。突触传递脉冲信号需要一定的时间，即脉冲信号从前神经元传递给后神经元存在延迟，本实施例将这种延迟称为突触延迟。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络构建方法，其特征在于，包括：获取多个初始神经元簇；对每个所述初始神经元簇进行分组，分别获得多个迷你神经元簇；获取每个所述初始神经元簇内各所述迷你神经元簇的簇内连接权重矩阵；其中，所述簇内连接权重包括所述迷你神经元簇内突触自连对应的自连权重和所述迷你神经元簇之间突触互连对应的互连权重；获取在不同所述初始神经元簇之间的簇间连接权重矩阵，其中，所述簇间连接为稀疏连接；基于所述簇内连接权重矩阵和所述簇间连接权重矩阵对所述迷你神经元簇进行聚合，得到所述初始神经元簇的稀疏连接权重矩阵；基于所述初始神经元簇的稀疏连接权重矩阵构建神经形态网络。2.根据权利要求1所述的方法，其特征在于，所述对每个所述初始神经元簇进行分组，分别获得多个迷你神经元簇，包括：基于所述初始神经元簇内突触连接的突触连接权重和突触延迟，对每个所述初始神经元簇内的突触连接分别进行分组，获得各所述初始神经元簇对应的多个所述迷你神经元簇。3.根据权利要求2所述的方法，其特征在于，所述基于所述初始神经元簇内突触连接的突触连接权重和突触延迟，对每个所述初始神经元簇内的突触连接分别进行分组，获得对应的多个所述迷你神经元簇，包括：基于所述初始神经元簇内各突触连接的突触连接权重对所述初始神经元簇内的突触连接进行分组，获得兴奋型突触连接集合和抑制型突触连接集合；基于所述兴奋型突触连接集合内的所述突触连接所对应的突触延迟的数值对所述兴奋型突触连接集合内的所述突触连接所对应的所述突触延迟进行排序，并基于所述突触延迟的排序结果对所述兴奋型突触连接集合内的所述突触连接进行二次分组，获得多个兴奋型突触连接子集合；基于所述抑制型突触连接集合内的所述突触连接所对应的突触延迟的数值对所述抑制型突触连接集合内的所述突触连接所对应的所述突触延迟进行排序，并基于所述突触延迟的排序结果对所述抑制型突触连接集合内的所述突触连接进行二次分组，获得多个抑制型突触连接子集合；基于所述兴奋型突触连接子集合和所述抑制型突触连接子集合获得多个所述迷你神经元簇。4.根据权利要求3所述的方法，其特征在于，所述基于所述突触延迟的排序结果对所述兴奋型突触连接集合内的所述突触连接进行二次分组，获得多个兴奋型突触连接子集合，包括：基于所述兴奋型突触连接集合对应的所述突触延迟的排序结果并按照预设的延迟分组标准，对所述兴奋型突触连接集合内的所述突触延迟进行分组，获得多个第一延迟子集合；基于所述第一延迟子集合对所述兴奋型突触连接集合内的所述突触连接进行二次分组，获得多个兴奋型突触连接子集合；
和/或，所述基于所述突触延迟的排序结果对所述抑制型突触连接集合内的所述突触连接进行二次分组，获得多个抑制型突触连接子集合，包括：基于所述抑制型突触连接集合对应的所述突触延迟的排序结果并按照预设的延迟分组标准，对所述抑制型突触连接集合内的所述突触延迟进行分组，获得多个第二延迟子集合；基于所述第二延迟子集合对所述抑制型突触连接集合内的所述突触连接进行二次分组，获得多个抑制型突触连接子集合。5.根据权利要求4所述的方法，其特征在于，所述延迟分组标准包括相邻的两个所述突触延迟的数值的差值小于第一数值，且所述突触延迟的排序结果中最小的所述突触延迟的数值与最大的所述突触延迟的数值之间的差值小于第二数值，其中，所述第一数值小于所述第二数值。6.根据权利要求1所述的方法，其特征在于，所述获取每个所述初始神经元簇内各所述迷你神经元簇的簇内连接权重矩阵，包括：获取每个所述初始神经元簇内所述迷你神经元簇的突触自连信息，以及，每个所述初始神经元簇内所述迷你神经元簇之间的突触互连信息；获取每个所述初始神经元簇内参与信息传递的神经元；基于参与信息传递的所述神经元、以及每个所述初始神经元簇内的所述迷你神经元簇内的突触自连信...

【专利技术属性】
技术研发人员：张启坤，吴臻志，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：