一种神经网络加速方法、加速器、电子设备及存储介质技术

本申请实施例公开了一种神经网络加速方法、加速器、电子设备及存储介质，该方法应用的卷积处理单元阵列包括M行N列的卷积处理单元，卷积处理单元包括X个乘加单元，乘加单元包括Y个乘法器、一个加法器和一个控制器；Y个乘法器的输出端与加法器的Y个输入端相连；控制器确定所有输入通道未遍历完成，将累加结果送入加法器的第Y+1个输入端；控制器确定所有输入通道遍历完成，控制输出累加结果。这样，控制乘加单元分段实现所有输入通道的乘累加操作，使乘加单元最终输出是同时在卷积核的平面方向和深度方向进行累加的结果，降低卷积核大小和深度对乘法器利用率的影响。且通过多行卷积处理单元实现并行卷积运算，加快卷积运算速度。加快卷积运算速度。加快卷积运算速度。

【技术实现步骤摘要】
一种神经网络加速方法、加速器、电子设备及存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种神经网络加速方法、加速器、电子设备及存储介质。

技术介绍

[0002]卷积运算的基本运算是乘累加运算，卷积运算可以由处理元件(ProcessingElement，PE)阵列实现，其中PE阵列包括m行n列的PE单元，每个PE在横向级联，进行特征图的传输，每个PE在纵向级联，进行乘累加操作。
[0003]对于卷积神经网络来说，输入特征图数据是一个宽*高*通道的立体数据阵列，定义为IW*IH*IC，在实际的卷积计算过程中，还需要考虑深度方向，也就是IC方向，卷积计算需要针对每个平面卷积窗口的计算结果在深度方向再进行累加，最终的每个输出像素点都是同时在卷积核的平面方向和深度方向进行累加的结果。对于实际的人工智能网络，每个卷积计算层的卷积核大小和深度都不同，卷积核的平面尺寸一般以1*1，3*3，5*5等经典值构成，卷积核的深度则差异很大，而深度对PE中的乘法器的利用率存在较大的影响，导致PE中的乘法器很难达到高利用率。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络加速方法，其特征在于，所述方法包括：获取输入特征图数据；将所述输入特征图数据输入到卷积处理单元阵列中进行卷积运算，得到输出特征图数据；其中，所述卷积处理单元阵列包括M行N列的卷积处理单元，每个卷积处理单元包括X个乘加单元，每个乘加单元包括Y个乘法器、一个加法器和一个控制器；所述乘法器的两个输入端分别输入特征图数据和权重数据，所述Y个乘法器的输出端与所述加法器的Y个输入端相连，所述加法器用于对所有输入端数据进行累加，输出累加结果；所述控制器确定所有输入通道未遍历完成，将所述加法器的累加结果送入所述加法器的第Y+1个输入端；所述控制器确定所有输入通道遍历完成，控制输出所述加法器的累加结果。2.根据权利要求1所述的方法，其特征在于，一个卷积处理单元中所有乘加单元共享一个卷积核的权重数据。3.根据权利要求2所述的方法，其特征在于，M和N取大于1的整数时，同一行卷积处理单元中每个卷积处理单元的卷积核不同，同一列卷积处理单元中每个卷积处理单元的卷积核相同。4.根据权利要求1所述的方法，其特征在于，所述将所述输入特征图数据输入到卷积处理单元阵列中进行卷积运算，包括：从所述输入特征图数据获取M个搜索窗口；在每个时钟周期，按照通道顺序将所述M个搜索窗口并行输入到M行卷积处理单元中；所述卷积处理单元获取所述搜索窗口的X个卷积窗口，将X个卷积窗口展平映射到X个乘加单元的乘法器的输入端。5.根据权利要求1所述的方法，其特征在于，所述将所述输入特征图数据输入到卷积处理单元阵列中进行卷积运算，包括：从所述输入特征图数据中获取M个搜索窗口；每个时钟周期，在所述搜索窗口的X个卷积窗口中沿深度方向取Y个点，组成X组特征图数据；将所述M个搜索窗口各自对应的X组特征图数据并行输入到M行卷积处理单元中；所述卷积处理单元将X组特征图数据映射到X个乘加单元的乘法器的输入端。6.根据权利要求4或5所述的方法，其特征在于，N取大于1的整数时，同一行卷积处理单元中相邻两个卷积处理单元相连，所述将所述输入特征图数据输入到卷积处理...

【专利技术属性】
技术研发人员：祝叶华，孙炜，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：