【技术实现步骤摘要】
一种神经网络运算的系统、方法、装置及存储介质
本专利技术涉及一种处理器，尤其涉及一种神经网络运算的系统、方法、装置及存储介质。
技术介绍
在运行神经网络模型的过程中，神经网络处理器(NeuralnetworkProcessingUnit，NPU)能够为深度神经网络的训练和推理提供足够的运算能力。由于深度神经网络是按层计算的，每层的输入输出数据量较大，因此需要提供相当大的内存来存储中间数据和权重数据，从而导致大量资源都浪费在缓存和内存之间的数据搬运中，产生存储墙问题，降低了处理器的运算效率。
技术实现思路
本申请实施例提供一种神经网络运算的系统、方法、装置及存储介质，用于减少神经网络计算过程中的数据搬移，提升神经网络处理器的运算效率。第一方面，提供一种神经网络运算系统，所述神经网络运算系统包括至少两个神经网络处理单元、第一存储单元和第二存储单元，其中：所述第一存储单元，用于存储神经网络的输入数据、输出数据和每层神经网络运算所需的运算参数；所述第二存储单元，用于为所述至少两个神经网络处...
【技术保护点】
1.一种神经网络运算系统，其特征在于，所述神经网络运算系统包括至少两个神经网络处理单元、第一存储单元和第二存储单元，其中：/n所述第一存储单元，用于存储神经网络的输入数据、输出数据和每层神经网络运算所需的运算参数；/n所述第二存储单元，用于为所述至少两个神经网络处理单元中的每个神经网络单元提供输入缓存和输出缓存，每个神经网络处理单元包括两个输入缓存和两个输出缓存，相邻两个神经网络处理单元中的一个神经网络处理单元的两个输出缓存为另一个神经网络处理单元的两个输入缓存；/n所述至少两个神经网络处理单元进行环形连接，且所述至少两个神经网络处理单元中的每个神经网络处理单元，依次对神经...
【技术特征摘要】
1.一种神经网络运算系统，其特征在于，所述神经网络运算系统包括至少两个神经网络处理单元、第一存储单元和第二存储单元，其中：
所述第一存储单元，用于存储神经网络的输入数据、输出数据和每层神经网络运算所需的运算参数；
所述第二存储单元，用于为所述至少两个神经网络处理单元中的每个神经网络单元提供输入缓存和输出缓存，每个神经网络处理单元包括两个输入缓存和两个输出缓存，相邻两个神经网络处理单元中的一个神经网络处理单元的两个输出缓存为另一个神经网络处理单元的两个输入缓存；
所述至少两个神经网络处理单元进行环形连接，且所述至少两个神经网络处理单元中的每个神经网络处理单元，依次对神经网络的每层网络的部分行列数据进行卷积运算，并将得到的卷积运算结果存储至该神经网络处理单元的一个输出缓存，以使与该神经网络处理单元相邻的下游神经网络处理单元从该输出缓存中获得所述卷积运算结果，并根据所述卷积运算结果进行下一层网络的卷积运算。
2.一种神经网络运算方法，其特征在于，所述方法应用于神经网络运算系统，所述神经网络运算系统包括至少两个神经网络处理单元，所述至少两个神经网络处理单元包括相邻的第一神经网络处理单元和第二神经网络处理单元，所述方法包括：
所述第一神经网络处理单元依次对一层网络的部分行列数据进行卷积运算，并将得到的第一卷积运算结果存储至所述第一神经网络处理单元的第一输出缓存；并在满足缓存切换触发条件时，所述第一神经网络处理单元将输出缓存从所述第一输出缓存切换至第二输出缓存；
所述第二神经网络处理单元从所述第一输出缓存中获得所述第一卷积运算结果，并根据所述第一卷积运算结果进行与所述一层网络相邻的下一层网络的卷积运算，以及将得到的第二卷积运算结果存储至所述第二神经网络处理单元的一个输出缓存。
3.如权利要求2所述的方法，其特征在于，确定满足缓存切换触发条件，包括：
确定完成对所述部分行列数据的全部运算。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
在所述第二神经网络处理单元对所述第一卷积运算结果运算完成后，确定所述第二输出缓存中的数据已完成存储准备；
若所述第二输出缓存中的数据已完成存储准...
【专利技术属性】
技术研发人员：刘文峰，
申请(专利权)人：珠海格力电器股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。