卷积计算模块、神经网络处理器、芯片和电子设备制造技术

本申请实施例提供一种卷积计算模块、神经网络处理器、芯片和电子设备，卷积计算模块包括累加器和选择器，同一级累加器的两个累加器和下一级累加器的一个累加器连接到一个选择器的输入端，所述选择器的输出端用于输出一种或多种累加运算的结果，所述累加器包括至少5级，每一级累加器至少包括一个累加器，所述选择器包括至少一级，每一级选择器至少包括一个选择器。本申请实施例可以提高卷积计算模块计算数据的效率。

Convolution computing module, neural network processor, chip and electronic equipment

【技术实现步骤摘要】
卷积计算模块、神经网络处理器、芯片和电子设备
本申请涉及处理器
，特别涉及一种卷积计算模块、神经网络处理器、芯片和电子设备。
技术介绍
人工神经网络(artificialneuralnetworks，ANN)从信息处理角度对神经元网络进行抽象，建立某种简单模型，按照不同的连接方式组成不同的网络。这些研究通常被称为深度学习(deeplearning)、计算机学习(computerlearning)等类似术语。相关技术中，神经网络处理器根据指令进行计算，比如乘累加、池化等。
技术实现思路
本申请实施例提供一种卷积计算模块、神经网络处理器、芯片和电子设备，可以提高神经网络处理器中卷积计算模块计算输入数据的效率。本申请实施例公开一种卷积计算模块，包括：包括：N级累加器，N为大于1的整数，每一级累加器包括至少一个累加器；和M级选择器，M为大于或等于1的整数，每一级选择器包括至少一个选择器，每一选择器包括三个输入端，每一输入端连接一个累加器；其中一个输入端连接第N级累加器的一个累加器，其中两个输入端连接第N-1级累加器的两个累加器。本申请实施例还公开一种卷积计算模块，包括累加器和选择器，同一级累加器的两个累加器和下一级累加器的一个累加器连接到一个选择器的输入端，所述选择器的输出端用于输出一种或多种累加运算的结果，所述累加器包括至少5级，每一级累加器至少包括一个累加器，所述选择器包括至少一级，每一级选择器至少包括一个选择器本申请实施例还公开一种神经网络处理器，包括如上所述的卷积计算模块。本申请实施例还公开一种芯片，包括如上所述的神经网络处理器。本申请实施例还公开一种电子设备，包括如上所述的神经网络处理器。本申请实施例中，卷积计算模块的同一级累加器的两个累加器的结果可以直接通过选择器输出，也可以通过下一级的一个累加器累加之后通过选择器输出。因此，本申请实施例通过选择器对不同累加器的选择可以选择出不同的输出结果，使得卷积计算模块的一个乘累加单元可以同时计算多个输入数据以输出相应的结果。相比一个乘累加单元一次仅计算一个输入数据以输出一个输出结果，可以提高卷积计算模块的计算效率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。图1本申请实施例提供的卷积计算模块的输入数据示意图。图2本申请实施例提供的卷积计算模块的权重数据示意图。图3本申请实施例提供的卷积计算模块的卷积运算示意图。图4本申请实施例提供的卷积计算模块的另一卷积运算示意图。图5为本申请实施例提供的卷积计算模块中累加部分的结构示意图。图6为图5所示卷积计算模块的第一种输出模式。图7为图5所示卷积计算模块的第二种输出模式。图8为图5所示卷积计算模块的第三种输出模式。图9为图5所示卷积计算模块的第四种输出模式。图10为图5所示卷积计算模块的第五种输出模式。图11为本申请实施例提供的神经网络处理器的结构示意图。图12为本申请实施例提供的芯片的结构示意图。图13为本申请实施例提供的电子设备的结构示意图。具体实施方式本申请实施例提供的技术方案诸如神经网络处理器可以应用于各种需要对输入图像进行图像处理以得到相应地输出图像的场景，本申请实施例对此并不限定。诸如，本申请实施例提供的技术方案可以应用于计算机视觉等领域的各种场景，比如：人脸识别、图像分类、目标检测及语义分割等。神经网络处理器进行乘法运算可以应用于卷积神经网络运算、循环神经网络运算等中。下面以卷积神经网络运算为例，神经网络处理器从外部获取待处理数据(如图像数据)，神经网络处理器内的卷积计算模块可以对待处理数据进行卷积处理。卷积神经网络中的卷积层的输入包括输入数据(如从外部获取的待处理数据)和权重数据，卷积层的主要计算流程是对输入数据和权重数据进行卷积运算得到输出数据。其中，进行卷积运算的主体为卷积计算模块，也可以理解为，神经网络处理器的卷积计算模块对输入数据和权重数据进行卷积运算得到输出数据。需要说明的是，权重数据在一些情况下可以理解为一个或多个卷积核。下面针对卷积运算进行详细说明。请参阅图1和图2，图1本申请实施例提供的卷积计算模块的输入数据示意图，图2本申请实施例提供的卷积计算模块的权重数据示意图。输入数据的大小为H×W×C1，权重数据的大小为K×R×S×C2，其中，H为输入数据的高度，W为输入数据的宽度，C1为输入数据的深度，K为权重数据的输出数，即卷积核的个数，R为权重数据的高度，即卷积核的高度，S为权重数据的宽度，即卷积核的宽度，C2为权重数据的深度，即卷积核的深度，其中，权重数据的C2和输入数据的C1相等，因为C2和C1均为对应的深度数值并且相等，为了方便理解，下面的C2和C1都用C替代，也可以理解为C2＝C1＝C。输入数据大小还可以为N×H×W×C，N为输入数据的批数。请参阅图3，图3本申请实施例提供的卷积计算模块的卷积运算示意图。卷积计算模块先对输入数据按卷积核的大小进行取窗，取窗后的窗体区域与权重数据中的一个卷积核进行乘累加运算得到一个数据，随后分别在W方向和H方向滑动窗体再进行乘累加运算得H’×W’个数据，最后遍历K个卷积核得到K×H’×W’个数据。具体的运算步骤可以如下(也可以理解为卷积计算模块进行卷积运算的具体步骤如下)：1、从起始点(W＝0，H＝0)对输入数据按卷积核的大小进行取窗，得到一个窗体区域；2、从K个卷积核中选取一个未计算过的卷积核；3、将取窗后的窗体区域与卷积核进行点乘，然后进行累加得到一个数据；4、在W方向滑动窗体，得到新的窗体(窗体大小不变)；5、依次重复步骤3、4，直到W方向边界，这样得到W’个数据；6、回到W方向起始点，在H方向按照一个步长滑动窗体，得到新的窗体(窗体大小不变)；7、重复步骤3-6，直到H方向边界，这样得到H’×W’个数据，其中，到达H方向边界后，仍然需要重复步骤3-5；8、重复步骤2-7，遍历K个卷积核，进行计算得到K×H’×W’个数据。卷积计算模块中用于卷积运算的乘累加阵列(MACArray)的大小(L×M)是固定的，其中，L为进行乘累加运算的长度，M为并行进行乘累加运算的单元数，也可以理解为一个周期可以进行M个长度为L的乘累加运算。将上面卷积运算过程中的乘累加运算(如上面的步骤3-4)分配到卷积计算模块上进行并行计算的步骤如下(也可以理解为卷积计算模块利用乘累加阵列进行乘累加运算的具体步骤如下)：1、对输入数据在HW平面上按卷积核大小进行取窗，并在深度方向上将输入数据分割成C/L个长度为L的数据段；2、沿W方向滑动窗体，并在深度方向上将输入数据均分割成C/L个长度为L的数据段，继续沿W方向滑动窗体M-2次后得到M组输入数据，每组有C/L个数据段；3、在深度方向上本文档来自技高网...

【技术保护点】
1.一种卷积计算模块，其特征在于，包括：/nN级累加器，N为大于1的整数，每一级累加器包括至少一个累加器；和/nM级选择器，M为大于或等于1的整数，每一级选择器包括至少一个选择器，每一选择器包括三个输入端，每一输入端连接一个累加器；/n其中一个输入端连接第N级累加器的一个累加器，其中两个输入端连接第N-1级累加器的两个累加器。/n

【技术特征摘要】
1.一种卷积计算模块，其特征在于，包括：
N级累加器，N为大于1的整数，每一级累加器包括至少一个累加器；和
M级选择器，M为大于或等于1的整数，每一级选择器包括至少一个选择器，每一选择器包括三个输入端，每一输入端连接一个累加器；
其中一个输入端连接第N级累加器的一个累加器，其中两个输入端连接第N-1级累加器的两个累加器。


2.根据权利要求1所述的卷积计算模块，其特征在于，所述N大于5，所述第N级累加器包括一个累加器，所述第二N-1级累加器包括两个累加器；
所述第M级选择器包括一个选择器；
所述第M级选择器的一个选择器包括一输出端，所述第M级选择器的一个选择器的输出端用于输出所述卷积计算模块的一种或多种累加运算的结果。


3.根据权利要求2所述的卷积计算模块，其特征在于，所述M大于1，所述第二M-1级选择器包括两个选择器，所述第二M-1级选择器的两个选择器均包括一输出端，所述第二M-1级选择器的两个选择器的输出端均连接第N级累加器的一个累加器和第M级选择器的一个选择器的一个输入端。


4.根据权利要求3所述的卷积计算模块，其特征在于，所述第N-2级累加器包括四个累加器；
所述M大于2，所述第M-2级选择器包括四个选择器；
所述第二M-2级选择器的四个选择器均包括一输出端，所述第二M-2级选择器的四个选择器的输出端均连接第N-1级累加器的一个累加器和第M-1级选择器的一个选择器的一个输入端。


5.根据权利要求4所述的卷积计算模块，其特征在于，所述第N-3级累加器包括八个累加器；
所述M大于3，所述第M-3级选择器包括八个选择器；
所述第二M-3级选择器的八个选择器均包括一输出端，所述第二M-3级选择器的八个选择器的输出...

【专利技术属性】
技术研发人员：何怀山，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44