一种硬件神经网络批归一化系统技术方案

本发明专利技术公开了一种硬件神经网络批归一化系统，包括级联的C层神经网络电路；第p层神经网络电路的输出控制电路与第p+1层神经网络电路中的权重区输入编码电路相连；p＝1,2,

【技术实现步骤摘要】
一种硬件神经网络批归一化系统


[0001]本专利技术属于人工神经网络
，更具体地，涉及一种硬件神经网络批归一化系统。

技术介绍

[0002]大数据时代，越来越多的人工智能和深度学习应用于日常生活，但受限于传统存储器与处理器分离式的冯
·
诺依曼架构，现有的神经网络硬件实现和加速系统面临越来越严重的“存储墙”问题。基于成熟存储器和新型存储器的神经网络存内计算硬件系统具有高并行度、低延迟、低功耗以及存储与计算没有明显界限的特点，有望突破传统计算机架构的冯
·
诺依曼瓶颈问题，在当今时代背景下具有重大潜力和意义。
[0003]随着应用场景的升级和任务难度的增加，神经网络算法在朝着更复杂和更深层发展，导致神经网络收敛速度和推断时间以及整体网络精度表现呈现更高的要求，传统的简单神经网络结构在面临复杂的任务时需要耗费大量的时间和算力进行训练，其结果也不能满足任务的需求，因而，对现有神经网络算法的优化就显得尤为重要和紧迫。批归一化算法作为神经网络优化算法中的一部分被越来越多的重视和采用，其目的是将神经网络中间层已改变的数据分布归一化到均值和方差更适合神经网络收敛的分布中去，归一化的激活值输入激活函数中产生更优的层输出分布。批归一化操作可以显著增加神经网络训练时的收敛速度，加速推断，而且其带来的正则化效果可以提升神经网络的精度表现，这在神经网络的硬件化进程中十分关键，特别是对于面向边缘智能设备的低精度神经网络，批归一化算法可以显著提升网络表现和效率。
[0004]在神经网络训练过程中批归一化参数不断的被学习和调整优化，当神经网络训练完成后，对每个神经元各异的批归一化的参数值将被确定并以常数的形式记忆，而且针对不同的应用场景和任务，批归一化参数会有必要的调整，因此批归一化硬件电路实现需要同时满足可变性和固定性。目前针对批归一化算法的硬件实现解决方案主要分为两大类，其一是在牺牲神经网络精度表现的前提下忽略批归一化算法，该方案带来的精度损失弊病在面临复杂任务和高精度要求应用场景时尤为突出；其二是基于传统金属-氧化物-半导体(Metal-Oxide-Semiconductor，CMOS)晶体管搭建批归一化电路，CMOS做好后其中所储存的参数不能改变，由于批归一化参数对每个神经元各异，需构建与神经元数量相当的批归一化CMOS电路并需构建额外的控制电路提供各异参数，大量传统CMOS晶体管的电路和额外控制电路会消耗大量面积和功耗。因此，新型批归一化系统的提出成为了一种迫切的需求。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种硬件神经网络批归一化系统，其目的在于解决现有技术无法以较低的电路面积消耗实现较高的网络精度的技术问题。
[0006]为实现上述目的，本专利技术提供了一种硬件神经网络批归一化系统，包括级联的C层
神经网络电路；C为正整数；第p层神经网络电路的输出控制电路与第p+1层神经网络电路中的权重区输入编码电路相连；p＝1,2,
…
,C-1；
[0007]第p层神经网络电路包括权重区输入编码电路、批归一化区输入编码电路、权重区突触单元、批归一化区突触单元、第一激活层电路和输出控制电路；此时，权重区突触单元和批归一化区突触单元均为由电子突触器件构成的阵列，二者的行数相同，且各行分别进行连接；权重区输入编码电路的输出端与权重区突触单元的每一列相连；批归一化区输入编码电路的输出端与批归一化区突触单元的每一列相连；批归一化区突触单元的每一行均与第一激活层电路相连，第一激活层电路包括多个第一运算放大器，批归一化区突触单元按行被划分为多组突触块，每组突触块由相邻的两行电子突触器件构成，各组突触块以差分对方式与一个第一运算放大器相连；第一激活层电路的输出端均与输出控制电路相连；
[0008]权重区输入编码电路用于对系统的输入信息或前一层神经网络电路的输出信息X进行编码，得到相应的脉冲信号，并输入到权重区突触单元中；
[0009]批归一化区输入编码电路用于将逻辑电平“1”脉冲输入到批归一化区突触单元中，输入时间与权重区输入编码电路将脉冲信号输入到权重区突触单元的时间同步；
[0010]权重区突触单元用于存储神经网络突触权重信息W，并在权重区输入编码电路输入的脉冲信号的作用下实现矩阵矢量乘法运算WX，并按行进行输出；
[0011]批归一化区突触单元用于存储神经网络批归一化参数信息K，在批归一化区输入编码电路输入的逻辑电平“1”脉冲的作用下，将权重区突触单元的输出与神经网络批归一化参数信息K按行进行加和后，输出到第一激活层电路中；
[0012]第一激活层电路用于采用第一运算放大器比较与第一运算放大器相连的突触块中各行的输出结果的大小得到映射结果后，输入到输出控制电路中进行整合，并将结果输入到第p+1层神经网络电路中；
[0013]第C层神经网络电路包括权重区输入编码电路、权重区突触单元、第二激活层电路和输出控制电路；此时，权重区输入编码电路的输出端与权重区突触单元的每一列相连；权重区突触单元的每一行均与第二激活层电路相连，第二激活层电路包括多个第二运算放大器，权重区突触单元按行被划分为多组突触块，每组突触块由相邻的两行电子突触器件构成，各组突触块以差分对方式与一个第二运算放大器相连；第二激活层电路的输出端均与输出控制电路相连；
[0014]第二激活层电路用于采用第二运算放大器将与第二运算放大器相连的突触块中各行的输出结果相减后，经输出控制电路进行整合，得到最终结果。
[0015]进一步优选地，各层神经网络电路中，权重区突触单元和批归一化区突触单元的规模各不相同。
[0016]进一步优选地，权重区突触单元所存储神经网络突触权重信息为此时，权重区突触单元的规模为2M
×
N，w
ij
为第2i-1行第j列的电子突触器件与第2i行第j列的电子突触器件的差分，i＝1,2,
…
,M，j＝1,2,
…
,N。
[0017]进一步优选地，批归一化区突触单元所存储神经网络批归一化参数信息为
此时，批归一化区突触单元的规模为2M
×
L，k
rs
为第2r-1行第s列的电子突触器件与第2r行第s列的电子突触器件的差分，r＝1,2,
…
,M，s＝1,2,
…
,L，L由归一化参数信息和电子突触器件精度确定。
[0018]进一步优选地，输出控制电路包括多个神经元；在第p层神经网络电路中，各神经元与各所述第一运算放大器全连接；在第C层神经网络电路中，各神经元与各第二运算放大器全连接。
[0019]进一步优选地，上述硬件神经网络批归一化系统在训练过程中，权重区突触单元与批归一化区突触单元同步更新突触权重；训练完成后，权重区突触单元与批归一化区突触单元中的突触权重保持不变。
[0020]进一步优选地，电子突触器件包括二端电子突触器件或多端电子突触本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种硬件神经网络批归一化系统，其特征在于，包括级联的C层神经网络电路；C为正整数；第p层神经网络电路的输出控制电路与第p+1层神经网络电路中的权重区输入编码电路相连；p＝1,2,
…
,C-1；所述第p层神经网络电路包括权重区输入编码电路、批归一化区输入编码电路、权重区突触单元、批归一化区突触单元、第一激活层电路和输出控制电路；此时，所述权重区突触单元和所述批归一化区突触单元均为由电子突触器件构成的阵列，二者的行数相同，且各行分别进行连接；所述权重区输入编码电路的输出端与所述权重区突触单元的每一列相连；所述批归一化区输入编码电路的输出端与所述批归一化区突触单元的每一列相连；所述批归一化区突触单元的每一行均与所述第一激活层电路相连，所述第一激活层电路包括多个第一运算放大器，所述批归一化区突触单元按行被划分为多组突触块，每组突触块由相邻的两行电子突触器件构成，各组突触块以差分对方式与一个第一运算放大器相连；所述第一激活层电路的输出端均与所述输出控制电路相连；所述权重区输入编码电路用于对所述系统的输入信息或前一层神经网络电路的输出信息X进行编码，得到相应的脉冲信号，并输入到所述权重区突触单元中；所述批归一化区输入编码电路用于将逻辑电平“1”脉冲输入到所述批归一化区突触单元中，输入时间与所述权重区输入编码电路将脉冲信号输入到所述权重区突触单元的时间同步；所述权重区突触单元用于存储神经网络突触权重信息W，并在所述权重区输入编码电路输入的脉冲信号的作用下实现矩阵矢量乘法运算WX，并按行进行输出；所述批归一化区突触单元用于存储神经网络批归一化参数信息K，在所述批归一化区输入编码电路输入的逻辑电平“1”脉冲的作用下，将所述权重区突触单元的输出与所述神经网络批归一化参数信息K按行进行加和后，输出到所述第一激活层电路中；所述第一激活层电路用于采用第一运算放大器比较与所述第一运算放大器相连的突触块中各行的输出结果的大小得到映射结果后，输入到所述输出控制电路中进行整合，并将结果输入到第p+1层神经网络电路中；所述第C层神经网络电路包括所述权重区输入编码电路、所述权重区突触单元、第二激活层电路和所述输出控制电路；此时，所述权重区输入编码电路的输出端与所述权重区突触单元的每一列相连；所述权重区突触单元的每一行均与所述第二激活层电路相连，所述第二激活层电路包括多个第二运算放大器，所述权重区突触单元按行被划分为多组突触块，每组突触块由相邻的两行电子突触器件构成，各组突触块以差分对方式与一个第二运算放大器相连；所述第二激活层电路的输出端均与所述输出控制电路相连；所述第二激活层电路用于采用第二运算放大器将与第二运算放大器相连的突触块中各行的输出结果相减后，经...

【专利技术属性】
技术研发人员：李祎，秦一凡，缪向水，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：