神经网络硬件加速器及方法技术

本发明专利技术提供一种神经网络硬件加速器及方法，包括数据排布模块、跳零模块以及乘积累加运算阵列模块，其中，由于跳零模块跳过输入数据中的零，并将其他输入数据以及对应的输入权重分别排布成若干个数据位组以及对应的权重位组，并行地发给乘积累加运算阵列模块，因此该神经网络硬件加速器不仅能够通过跳零来省去零数据位对应的运算，从而节省能耗，而且减少了乘积累加运算阵列模块中的部分运算单元在一些时钟周期中因跳零而闲置等待的情况，也即在跳零后仍然能够充分利用乘积累加运算阵列模块的运算资源，从而能够在乘积累加运算阵列模块的运算资源有限的情况下，进一步提升神经网络硬件加速器的性能。

【技术实现步骤摘要】

本专利技术属于神经网络硬件加速器，具体涉及一种利用张量稀疏性加速的神经网络硬件加速器以及相应的神经网络加速方法。

技术介绍

1、神经网络在越来越多的领域得到了大规模的应用，为提高大型神经网络训练和/或推理的速度，通常采用神经网络硬件加速器来对训练过程和/或推理过程进行加速。目前主流的神经网络有卷积神经网络和注意力神经网络等，在卷积神经网络中，卷积运算是最主要的运算，而在注意力神经网络中，矩阵乘是最主要的运算，这两种运算一般都是通过设计包含乘积累加运算(multiply accumulate,mac)阵列的硬件加速器来实现加速运算的。目前，随着神经网络的发展，卷积运算和矩阵乘运算所需求的性能越来越高，而受限于移动端的尺寸和能耗等原因，硬件加速器在规模扩大上则是有上限的，特别是其中mac阵列的规模，难以再显著提升。另一方面，现有的神经网络硬件加速器的功耗普遍很高，使得其使用受到限制。因此，基于有限的mac阵列规模，如何进一步提高神经网络硬件加速器的性能以及如何降低功耗是当前亟待解决的问题。

2、一方面，现有技术中存在一些采用跳零技术的神经网络硬件加本文档来自技高网...

【技术保护点】

1.一种神经网络硬件加速器，其特征在于，包括：

2.根据权利要求1所述的神经网络硬件加速器，其特征在于：

3.根据权利要求2所述的神经网络硬件加速器，其特征在于：

4.根据权利要求3所述的神经网络硬件加速器，其特征在于：

5.根据权利要求1所述的神经网络硬件加速器，其特征在于：

6.根据权利要求5所述的神经网络硬件加速器，其特征在于：

7.根据权利要求6所述的神经网络硬件加速器，其特征在于：

8.根据权利要求6所述的神经网络硬件加速器，其特征在于：

9.根据权利要求6所述的神经网络硬件加速器，...

【技术特征摘要】

1.一种神经网络硬件加速器，其特征在于，包括：

2.根据权利要求1所述的神经网络硬件加速器，其特征在于：

3.根据权利要求2所述的神经网络硬件加速器，其特征在于：

4.根据权利要求3所述的神经网络硬件加速器，其特征在于：

5.根据权利要求1所述的神经网络硬件加速器，其特征在于：

...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳博瑞晶芯科技有限公司，
类型：发明
国别省市：