本公开提供了一种神经网络神经元信息存储方法，所述神经网络为加载在众核系统的神经网络，该方法包括：根据神经网络的神经元的近期发放活跃度确定神经元当前时刻为稀疏神经元或非稀疏神经元；在神经元当前时刻为稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间；在神经元当前时刻为非稀疏神经元，且神经元在当前时刻之前时刻为稀疏神经元的情况下，将神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间。本公开还提供了一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。计算机可读介质。计算机可读介质。
【技术实现步骤摘要】
神经网络神经元信息存储方法及装置、众核系统、介质
[0001]本公开涉及计算机
，特别涉及一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。
技术介绍
[0002]随着人工智能技术的不断发展，神经网络的应用也越来越广泛，人工智能技术中的神经网络由大量神经元构成，每个神经元可以连接其他神经元，神经元之间的连接强度由连接权重表示。连接权重的存储需要占用大量存储空间，如何优化权重信息的存储成为面临的实际问题。
技术实现思路
[0003]本公开提供一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。
[0004]第一方面，本公开提供了神经网络神经元信息存储方法，其中，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储方法包括：根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。
[0005]第二方面，本公开提供了一种神经网络神经元信息存储装置，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储装置包括：判断模块，用于根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；第一执行模块，用于在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；第二执行模块，用于在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。
[0006]第三方面，本公开提供了一种众核系统，该众核系统包括：多个处理核；以及，片上网络，被配置为交互所述多个处理核间的数据和外部数据；其中，一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或
多个所述处理核能够执行上述的神经网络神经元信息存储方法。
[0007]第四方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现上述的神经网络神经元信息存储方法。
[0008]本公开所提供的神经网络神经元信息存储方法及装置、众核系统、计算机可读介质，根据神经元的稀疏性的动态变化，将稀疏神经元与后继神经元的连接权重值存储在众核系统外的外部存储空间，将非稀疏神经元的连接权重值存储在众核系统的片上存储空间，在不影响神经网络的处理效率的同时，减少连接权重值对众核系统的片上存储空间的占用，使得众核系统的片上存储空间可以有更大的空间存储更加重要的信息，提升神经网络的性能。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0011]图1为本公开实施例提供的一种神经网络神经元信息存储方法的流程图；
[0012]图2为本公开实施例提供的另一种神经网络神经元信息存储方法的流程图；
[0013]图3a为本公开实施例提供的神经网络神经元的发放值随时间变化的坐标示意图；
[0014]图3b为本公开实施例提供的神经网络神经元的活跃度随时间变化的坐标示意图；
[0015]图4为本公开实施例提供的一种加载神经网络的众核系统的示意图；
[0016]图5为本公开实施例提供的一种神经网络神经元信息存储装置的组成框图；
[0017]图6为本公开实施例提供的一种众核系统的组成框图。
具体实施方式
[0018]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0020]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0021]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0022]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域
普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0023]在一些相关技术中，通过处理芯片执行神经网络，如将神经网络加载在众核系统，由于神经网络的连接权重需要占用存储空间，因此，在神经网络加载在众核系统的情况下，连接权重可以存储在众核系统的片上存储空间，也可以存储在众核系统外的外加存储空间。
[0024]若连接权重存储在众核系统的片上存储空间，由于众核系统的片上存储空间的容量有限，为了保证所有的连接权重都可以存储，可能需要牺牲一些信息，如连接权重的精度，对神经网络的性能造成影响。
[0025]若连接权重存储在存储空间更大的众核系统外的外加存储空间，虽然可以释放众核系统的片上存储空间，但每次使用连接权重时，众核系统都需要从外加存储本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络神经元信息存储方法，其中，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储方法包括：根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。2.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，包括：将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，并将所述神经元的权重信息在外加存储空间的地址信息存储在所述众核系统的片上存储空间，以使所述众核系统基于所述地址信息获取所述神经元的权重信息。3.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间，包括：将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述神经元的后继神经元对应的片上存储空间，以使所述后继神经元基于所述神经元的权重信息进行相应处理。4.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，包括：根据所述神经元的权重信息获取所述神经元的权重索引信息以及有效权重信息；其中，所述神经元的权重信息包括所述神经元与其后继神经元的连接权重值；所述权重索引信息包括至少一个标识信息，每个标识信息对应所述神经元的一个后继神经元，用于表示该后继神经元与所述神经元的连接权重值是否为零；所述有效权重信息包括有效权重值，每个有效权重值为所述神经元与一个后继神经元不为零的连接权重值；将所述神经元的权重索引信息以及有效权重信息存储在所述众核系统外的外加存储空间。5.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间，包括：根据所述神经元的权重信息获取所述神经元与其后继神经元的连接权重值；其中，所述神经元的权重信息包括所述神经元的权...
【专利技术属性】
技术研发人员：吴臻志，祝夭龙，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。