本公开提供了一种神经网络模型的处理方法及处理装置，该处理方法包括：基于基础神经网络模型的基础权重序列，生成多个第一权重序列，多个第一权重序列构成权重池；根据预先获取的记忆矩阵和权重池，生成多个目标权重序列；基于多个目标权重序列，生成由多个基础神经网络模型构成的目标神经网络模型，在目标神经网络模型中，每个基础神经网络模型对应一个目标权重序列。本公开还提供一种推理方法、推理装置、电子设备以及计算机可读存储介质。电子设备以及计算机可读存储介质。电子设备以及计算机可读存储介质。
【技术实现步骤摘要】
神经网络模型的处理方法及处理装置
[0001]本公开涉及计算机
，特别涉及一种神经网络模型的处理方法及处理装置、推理方法、推理装置、电子设备、计算机可读存储介质。
技术介绍
[0002]随着神经网络在各行各业中得到应用，神经网络的加速执行和压缩存储变成了一个很重要的问题，支持神经网络的加速器也不断涌现。在神经网络加速技术中，量化是一类非常重要的技术，其通过降低数据精度来加速计算，同时保证低精度数据描述的神经网络在任务上的精度尽可能接近原有的高精度网络，进而同时实现了加速和压缩模型的目的。
[0003]对于时序神经网络等需要在时间或空间上共享一套模型参数(如权重参数和量化参数)的神经网络，由于量化后的神经网络在不同时间步或空间上共享相同的权重参数和量化参数，导致其量化误差会随着神经网络的基本处理单元的不断迭代训练而累积，最终会造成模型难以优化进而导致模型产生严重的精度损失。
技术实现思路
[0004]本公开提供一种神经网络模型的处理方法及处理装置、推理方法、推理装置、电子设备、计算机可读存储介质。
[0005]第一方面，本公开提供了一种神经网络模型的处理方法，所述处理方法包括：
[0006]基于基础神经网络模型的基础权重序列，生成多个第一权重序列，所述多个第一权重序列构成权重池；
[0007]根据预先获取的记忆矩阵和所述权重池，生成多个目标权重序列；
[0008]基于多个目标权重序列，生成由多个所述基础神经网络模型构成的目标神经网络模型，在所述目标神经网络模型中，每个所述基础神经网络模型对应一个目标权重序列。
[0009]第二方面，本公开提供了一种基于目标神经网络模型的推理方法，所述目标神经网络模型是根据上述的处理方法处理得到的，所述推理方法包括：
[0010]获取当前输入序列；
[0011]将所述当前输入序列输入所述目标神经网络模型进行推理计算，得到输出结果。
[0012]第三方面，本公开提供了一种神经网络模型的处理装置，所述处理装置包括：
[0013]生成单元，用于基于基础神经网络模型的基础权重序列，生成多个第一权重序列，所述多个第一权重序列构成权重池；
[0014]所述生成单元还用于根据预先获取的记忆矩阵和所述权重池，生成多个目标权重序列；
[0015]处理单元，用于基于多个目标权重序列，生成由多个所述基础神经网络模型构成的目标神经网络模型，在所述目标神经网络模型中，每个所述基础神经网络模型对应一个目标权重序列。
[0016]第四方面，本公开提供了一种基于目标神经网络模型的推理装置，所述目标神经
网络模型是根据上述的处理方法处理得到的，所述推理装置包括：
[0017]获取单元，用于获取当前输入序列；
[0018]推理单元，用于将所述当前输入序列输入所述目标神经网络模型进行推理计算，得到输出结果。
[0019]第五方面，本公开提供了一种电子设备，该电子设备包括：
[0020]至少一个处理器；以及
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的处理方法或第二方面所述推理方法。
[0023]第六方面，本公开提供了一种计算机可读存储介质，该介质上存储有计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的处理方法或第二方面所述的推理方法。
[0024]根据本公开实施例的神经网络模型的处理方法的技术方案，基于基础神经网络模型的基础权重序列生成多个第一权重序列，并通过记忆矩阵和权重池中多个第一权重序列，生成多个目标权重序列，将基础神经网络模型扩展为由多个基础神经网络模型构成的目标神经网络模型，使得目标神经网络模型中多个基础神经网络模型分别对应不同的目标权重序列，不同基础神经网络模型之间在时间或空间上不需要共享一套权重参数，由此扩大了神经网络模型的参数空间，从而有利于提高模型精度，相较于相关技术中模型在多时间步共享同一套权重参数的方式，本公开实施例的目标神经网络模型精度更高；在量化模型时，可以有利于改善在量化过程中的量化误差随着模型迭代训练而累积的问题，从而有利于提高量化后的神经网络模型的精度，相比于相关技术中模型在多时间步共享同一套权重参数的量化方案，本公开实施例中目标神经网络模型在量化过程中累积的量化误差相对低，量化后的模型精度相对高。在实际应用中，在目标神经网络模型运行过程中，仅存储权重池中的数据和记忆矩阵中的数据，当需要推理运算时通过计算的方式获取需要的目标权重序列，不需要存储大量的目标权重序列，从而有利于节约芯片存储资源。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0027]图1为本公开实施例提供的一种时序神经网络的网络架构示意图；
[0028]图2为本公开实施例提供的一种神经网络模型的处理方法的流程示意图；
[0029]图3为本公开实施例提供的一种目标神经网络模型的网络架构示意图；
[0030]图4为本公开实施例提供的另一种神经网络模型的处理方法的流程示意图；
[0031]图5为本公开实施例提供的又一种神经网络模型的处理方法的流程示意图；
[0032]图6为一种目标权重序列的生成过程示意图；
[0033]图7为本公开实施例中步骤S11的一种具体实施方式的流程示意图；
[0034]图8为按照执行时序扩展得到的多个基础神经网络模型的网络架构示意图；
[0035]图9为本公开实施例提供的一种基于目标神经网络模型的推理方法的流程示意图；
[0036]图10为一种众核芯片的结构示意图；
[0037]图11为本公开实施例提供的一种神经网络模型的处理装置的结构示意图；
[0038]图12为本公开实施例提供的一种基于目标神经网络模型的推理装置的结构示意图；
[0039]图13为本公开实施例提供的一种电子设备的组成框图。
具体实施方式
[0040]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络模型的处理方法，其特征在于，所述处理方法包括：基于基础神经网络模型的基础权重序列，生成多个第一权重序列，所述多个第一权重序列构成权重池；根据预先获取的记忆矩阵和所述权重池，生成多个目标权重序列；基于多个目标权重序列，生成由多个所述基础神经网络模型构成的目标神经网络模型，在所述目标神经网络模型中，每个所述基础神经网络模型对应一个目标权重序列。2.根据权利要求1所述的处理方法，其特征在于，在生成所述目标神经网络模型之后，所述处理方法还包括：对所述目标神经网络模型进行训练，以更新所述记忆矩阵和所述权重池；在训练完成后，获得目标记忆矩阵和目标权重池。3.根据权利要求2所述的处理方法，其特征在于，所述对所述目标神经网络模型进行训练，包括：对所述目标神经网络模型进行量化感知训练。4.根据权利要求1所述的处理方法，其特征在于，在所述根据预先获取的记忆矩阵和所述权重池，生成多个目标权重序列之前，所述处理方法还包括：生成初始化的记忆矩阵，初始化的记忆矩阵由L个长度为K的向量构成，K为所述第一权重序列的数量，L为所述目标权重序列的数量；对初始化的记忆矩阵中每一行向量进行归一化处理，得到新的记忆矩阵。5.根据权利要求4所述的处理方法，其特征在于，所述生成初始化的记忆矩阵，包括：随机生成初始化的记忆矩阵；或者，当所述L为所述K的整数倍时，生成L/K个矩阵块，每个矩阵块的大小为K*K；将每个矩阵块初始化为单位矩阵，得到初始化的记忆矩阵。6.根据权利要求1所述的处理方法，其特征在于，所述根据预先获取的记忆矩阵和所述权重池，生成多个目标权重序列，包括：利用所述记忆矩阵对所述权重池中多个第一权重序列进行线性组合变换处理，得到多个目标权重序列。7.根据权利要求1所述的处理方法，其特征在于，所述基于基础神经网络模型的基础权重序列，生成多个第一权重序列，包括：将所述基础权重序列复制为多个，得到多个第一权重序列；或者，将多个随机数序列分别与所述基础权重序列进行求和计算，得到多个第一权重序列，所述随机数序列的长度与所述基础权重序列的长度相同。8.根据权利要求1所述的处理方法，其特征在于，所述基于基础神经网络模型的基础权重序列，生成多个第一权重序列，包括：基于所述基础权重序列，生成多个第二权重序列；基于所述多个第二权重序列，将所述基础神经网络模型按照执行时序扩展为多个基础神经网络模型，所述执行时序中每个时间步对应一个基础神经网络模型，每个基础神经网络模型对应一个第二权重序列；对所述多个基础神经网络模型进行量化感知训练，以更新所述多个第二权重序列，得到多个所述第一权重序列。9.根据权利要求1所述的处理方法，其特征在于，在所述基于基础神经网络模型...
【专利技术属性】
技术研发人员：张伟豪，曲环宇，王冠睿，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。