一种面向低位宽卷积神经网络的可重构激活量化池化系统技术方案

本发明专利技术的面向低位宽卷积神经网络的可重构激活量化池化系统包括:若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行工作模式激活‑量化工作模式或激活‑量化‑池化工作模式的可重构操作；存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元，用于暂存池化操作中所需的卷积层结果数据。软件优化设计通过将低位宽卷积神经网络的激活、量化等若干步骤简化为一个步骤，可减少冗余计算且不改变原始功能。有益效果：通过将激活、量化、池化三个步骤以可重构的方式映射在同一硬件单元上，减少了硬件资源面积；采用软硬件协同优化的方法，具有面积小、功耗低、灵活性高的特点。

【技术实现步骤摘要】
一种面向低位宽卷积神经网络的可重构激活量化池化系统
本专利技术属于人工智能算法硬件加速领域，尤其涉及一种面向低位宽卷积神经网络的可重构激活量化池化系统。
技术介绍
低位宽卷积神经网络一般表示为4bit及以下的量化卷积神经网络，其不同于传统的卷积神经网络，它的权重和图像输入数据可以仅用几个bit来表示，例如二值化网络、三值化网络以及其他低位宽量化神经网络。二值化网络的权重和图像输入数据可只用0或1表示；三值化网络的权重只用0或1表示，图像输入数据表征为-1、0或1；在许多其他的低位宽量化神经网络中，常用某种比特组合方式来表达某个数，例如2bit的“01”表示数值0.5。在低位宽卷积神经网络中，除了传统网络中包含的卷积层、激活层、池化层，还会专门设计一个量化操作，将生成的图像输出数据再次量化到原来设定的位宽。近些年来针对这种低位宽卷积神经网络的硬件设计越来越多，卷积层通常的处理流程为顺序执行以下操作：卷积、批标准化、激活、量化和池化，有的卷积层没有池化操作；全连接层通常处理流程为顺序执行以下操作：全连接、批标准化、激活和量化。但是这样的串行操作会降低处理效率，带来额外的硬件开销，不能很好地满足实际应用的需求。
技术实现思路
本专利技术的目的在于克服以上现有技术之不足，提供一种有效地提高激活、量化、池化操作的灵活性，降低功耗，减少硬件开销的面向低位宽卷积神经网络的可重构激活量化池化系统，具体由以下技术方案实现：所述面向低位宽卷积神经网络的可重构激活量化池化系统，接收卷积层结果数据，该系统包括:若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行工作模式激活-量化工作模式或激活-量化-池化工作模式的可重构操作；存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元，用于暂存池化操作中所需的卷积层结果数据。所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，可重构激活量化池化处理单元在激活-量化的工作模式下数据从卷积处理单元传输到可重构激活量化池化处理单元，经过处理后，直接输出结果数据；在激活-量化-池化的工作模式下接收所述卷积层结果数据，先存入到存储单元，在存储单元控制器的控制下，传入可重构激活量化池化处理单元处理，处理结果依然存回存储单元。所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，所述可重构激活量化池化处理单元中的激活函数如式(1)，xo＝min(abs(xi),1)(1)其中，xi代表卷积处理完后的数据、xo表示经过激活后的激活值。可重构激活量化池化处理单元中的量化函数如式(2)，其中，k表示量化后的比特位宽，该处xi表示激活值，xo表示量化后的量化值。且对应的池化核大小为2x2，如式(3)：xo(i,j)＝max(x(2i,2j),x(2i,2j+1),x(2i+1,2j),x(2x+1,2j+1))(3)其中，i，j分别表示在单通道输入图像中的坐标位置，该处xi表示量化值，xo表示池化后的池化值。所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，所述系统的工作流程包括如下步骤：首先确定工作模式；若工作模式为激活-量化，通过分析不同的低比特卷积神经网络的激活函数、量化方法，确定激活函数、量化方法的一系列特性或参数；然后确定激活函数和量化方法输出范围的交叉冗余部分，将这部分简化；若工作模式为激活-量化-池化，需要在激活-量化的算法优化基础上分析池化核大小；优化后，将池化操作被融入进激活-量化操作，形成新的激活-量化-池化操作。所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，所述存储单元支持乒乓操作，一部分存储单元存放卷积层传入的数据，另一部分存储单元存放可重构激活量化池化处理单元所需的数据。所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，所述可重构激活量化池化处理单元包括三个阶段单元，分别第一阶段单元、第二阶段单元以及第三阶段单元，每个阶段单元均包含比较器、选通器以及寄存器，第一阶段单元中的比较器两输入为外部图像输入数据和阈值3，第二阶段单元中的比较器两输入为从第一阶段单元输出的数据和阈值2，第三阶段单元中的比较器两输入为从第二阶段单元输出的数据和阈值1。本专利技术的优点如下：本专利技术的面向低位宽卷积神经网络的可重构激活量化池化系统主要针对低位宽的卷积神经网络特性，实现多种类型激活量化池化的软硬件优化；该设计方法所具有的灵活性高、计算复杂度低、面积小、功耗低等特性。附图说明图1为面向低位宽卷积神经网络的可重构激活量化池化系统的模块示意图。图2是可重构激活量化池化处理单元示意图。图3是可重构激活量化池化处理单元配置示意图。图4是系统在激活量化工作模式下工作示意图。图5是系统在量化池化工作模式下工作示意图。具体实施方式下面结合附图对本专利技术方案进行详细说明。如图1，本实施例的面向低位宽卷积神经网络的可重构激活量化池化系统包括多个可重构激活量化池化处理单元、存储单元控制器以及存储单元；可重构激活量化池化单元用于执行激活、量化、池化操作；存储单元控制器用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元用于暂存池化操作中所需的卷积层结果数据。图1中，虚线表示激活-量化的工作模式下数据流向，数据从卷积处理单元传输到可重构激活量化池化处理单元，经过处理后，直接输出结果数据；实线表示激活-量化-池化的工作模式下的数据流向，卷积层结果数据传输到该模块，先存入到存储单元，在存储单元控制器的控制下，传入可重构激活量化池化处理单元处理，处理结果依然存回存储单元；该存储单元支持乒乓操作，以保证执行过程不会间断。下面结合一个具体的低位宽卷积神经网络，阐述该设计方法的具体运用方法。该低位宽卷积神经网络图像输入数据位宽为2bit，权重为1bit；激活函数和量化函数分别如下：xo＝min(abs(xi),1)(4)且池化核大小为2x2，如下：xo(i,j)＝max(x(2i,2j),x(2i,2j+1),x(2i+1,2j),x(2x+1,2j+1))(6)该系统首先优化软件算法，根据具体的低位宽卷积神经网络的参数可知k＝2。根据分析，可得激活函数输出范围在[0，1],量化函数的输入范围即为激活函数的输出范围；该量化函数的阈值为1/6、1/2、5/6，通过量化函数量化后，输出将落在0、1/3，2/3，1这四个数值上；可通过以下系列比较代替激活和量化函数，如果输入大于5/6，则量化值取1；如果输入大于1/2小于等于5/6，则量化值取2/3；如果输入大于1/6小于等于1/2，则量化值取1/3；若x小于等于1/6，则量化值取0。该系统对硬件部分进行优化设计，因为该网络的图像输入数据的位宽为2bit，所以该多阶段单元流水处理架构的阶段数为3，如图2所示；每个阶段单元均中包含一个比较器、若干选通器和寄存器。阶段单元1中的比较器两输入为外部图像输入数据和阈值3，阶段单元2中的比较器两输入为从阶段单元1输出的数据和阈值2，阶段单元3中的比较器两输入为从阶段单元2输出的数据和阈值1。图中的配置字用于配置该单元的工作模式，配置字为1时该单元工作模式为激活-量化-池化，配置字为0时，该单元工作在本文档来自技高网...

【技术保护点】
1.一种面向低位宽卷积神经网络的可重构激活量化池化系统，接收卷积层结果数据其特征在于：包括:若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行工作模式激活‑量化工作模式或激活‑量化‑池化工作模式的可重构操作；存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元，用于暂存池化操作中所需的卷积层结果数据。

【技术特征摘要】
1.一种面向低位宽卷积神经网络的可重构激活量化池化系统，接收卷积层结果数据其特征在于：包括:若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行工作模式激活-量化工作模式或激活-量化-池化工作模式的可重构操作；存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元，用于暂存池化操作中所需的卷积层结果数据。2.根据权利要求1所述的面向低位宽卷积神经网络的可重构激活量化池化系统，其特征在于：可重构激活量化池化处理单元在激活-量化的工作模式下数据从卷积处理单元传输到可重构激活量化池化处理单元，经过处理后，直接输出结果数据；在激活-量化-池化的工作模式下接收所述卷积层结果数据，先存入到存储单元，在存储单元控制器的控制下，传入可重构激活量化池化处理单元处理，处理结果依然存回存储单元。3.根据权利要求1所述的面向低位宽卷积神经网络的可重构激活量化池化系统，其特征在于：所述可重构激活量化池化处理单元中的激活函数如式(1)，xo＝min(abs(xi),1)，(1)其中，xi代表卷积处理完后的数据、xo表示经过激活后的激活值。可重构激活量化池化处理单元中的量化函数如式(2)，其中，k表示量化后的比特位宽，该处xi表示激活值，xo表示量化后的量化值。且对应的池化核大小为2x2，如式(3)：xo(i,j)＝max(x(2i,2j),x(2i,2j+1),x(2i+...

【专利技术属性】
技术研发人员：李丽，陈沁雨，傅玉祥，陈铠，何书专，陈辉，程开丰，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32