一种基于动态激活位稀疏的神经网络加速器设计方法技术

本发明专利技术公开了一种基于动态激活位稀疏的神经网络加速器设计方法，涉及深度神经网络加速器设计领域，包括神经网络加速器的架构、计算阵列组织方式、神经网络加速器中稀疏性数据的表达形式，所述神经网络加速器的架构包括DRAM连接、加载Load单元、有效位检测阵列单元、激活位稀疏计算阵列以及写回Store单元，及有这些单元间的连接形式和数据流方式；所述计算阵列组织方式是指通过对激活数据进行分组，以及组内交叉计算，组间同步计算的组织方式；所述神经网络加速器中稀疏性数据的表达形式是指设计激活数据的检测方式和数据表达形式。本发明专利技术提出了一种动态激活位稀疏的神经网络加速器设计方法，并针对激活有效位的数量不平衡问题进行了优化设计。问题进行了优化设计。问题进行了优化设计。

【技术实现步骤摘要】
一种基于动态激活位稀疏的神经网络加速器设计方法


[0001]本专利技术涉及深度神经网络加速器设计领域，尤其涉及一种基于动态激活位稀疏的 神经网络加速器设计方法。

技术介绍

[0002]神经网络中数据具有稀疏性。由于在神经网络中经过了诸如ReLU的激活层等， 使得神经网络的激活数据在分布上存在较多的0元素。另一方面，神经网络的数据分 布中，较多的数据为接近0的元素，经过量化可能转化为0元素，使得神经网络中 的0元素比例进一步提升。据统计，在神经网络中，计算数据尤其是激活数据有很大 比例的0数据，而位稀疏的特性更加明显。在神经网络中，根据稀疏性的数据不同， 稀疏性有两种情况，即权重稀疏性和激活稀疏性。权重稀疏性即预先训练的权重数据 中存在的数据稀疏性，这种稀疏性在神经网络的推理过程中是静态存在的；激活稀疏 性即在推理过程中产生的中间激活数据的稀疏性，由于这种数据的稀疏性是在推理过 程中动态产生的，因此这种稀疏性是动态稀疏性。从统计数据来看，激活稀疏更为显 著。同时，根据稀疏性出现在神经网络中单个数据中的位置不同，稀疏性也可以分为 两类，即值稀疏和位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，包括神经网络加速器的架构、计算阵列组织方式、神经网络加速器中稀疏性数据的表达形式，所述神经网络加速器的架构包括DRAM连接、加载Load单元、有效位检测阵列单元、激活位稀疏计算阵列以及写回Store单元，及有这些单元间的连接形式和数据流方式；所述计算阵列组织方式是指通过对激活数据进行分组，以及组内交叉计算，组间同步计算的组织方式；所述神经网络加速器中稀疏性数据的表达形式是指设计激活数据的检测方式和数据表达形式。2.如权利要求1所述的一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，所述神经网络加速器的架构将所述有效位检测阵列与所述激活位稀疏计算阵列进行流水化的组合，包括激活有效项生成与移位累加计算阵列搭建。3.如权利要求2所述的一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，所述激活有效项生成在动态位稀疏的神经网络加速器的结构中，分别从激活片上缓存读取激活向量，从权重片上缓存加载权重矩阵，同时所述有效位检测电路阵列对所述激活向量进行检测，生成所述激活有效项，存入有效项数据池。4.如权利要求3所述的一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，所述移位累加计算阵列的搭建由PU组成的计算核心，以及基于移位累加PE组成的PU阵列；其中所述PE是计算阵列的基本单元，完成位串行计算的单元；所述PU用来部署所述激活向量和一个权重向量，完成行向量和列向量的计算累加；不同的所述PU组成核心，完成不同所述权重向量与所述激活向量的运算。5.如权利要求4所述的一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，所述计算阵列组织方式将所述激活向量内的所述激活数据进行分组，并在组内建立交叉计算机制；包括在分组的内部，所述激活数据的有效项包含激活通道信息，组内可以进行交叉计算，通过所述激活通道的信息对权重进行选择并与之对应进行移位累加；在不同分组中，需要进行同步，仅当所有的分组完成计算后，真个计算模块才可加载下一组数据进行计算。6.如权利要求5所述的一种基于动态激活位稀疏的神经网络加速器设计方法，其特征在于，所述神经网络加速器中稀疏性数据的表达形式是通过对所述激活数据分析，形成bit位置信...

【专利技术属性】
技术研发人员：景乃锋，孙永帅，郭梦裕，蒋剑飞，王琴，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：