神经网络批标准化层硬件实现方法、装置、设备及介质制造方法及图纸

本申请涉及神经网络计算技术领域，特别涉及一种神经网络批标准化层硬件实现方法、装置、设备及介质，其中，方法包括：在神经网络中，确定神经网络的当前卷积结果；基于当前卷积结果生成K矩阵，并得到与K矩阵呈映射关系的忆阻器阵列，其中，忆阻器阵列的电导差值与K矩阵的参数相对应；利用忆阻器阵列进行神经网络的BN层计算，得到BN层的计算结果。由此，解决了相关技术中BN层计算只适用于二值神经网络，不适合用于较高精度的神经网络硬件实现等问题，通过在忆阻器阵列上实现BN层计算，节约了数据在处理器单元和忆阻器阵列单元之间的来回传输，提高系统能效。高系统能效。高系统能效。

【技术实现步骤摘要】
神经网络批标准化层硬件实现方法、装置、设备及介质


[0001]本申请涉及神经网络计算
，特别涉及一种神经网络批标准化层硬件实现方法、装置、设备及介质。

技术介绍

[0002]相关技术中，BN层(Batch Normalization，批标准化层)硬件实现包括以下步骤：
[0003](1)在二值神经网络中，将判断符号位的操作和BN层计算结合在一起。卷积层的输出结果只需要和Y
TH
对比，如果大于该值，则最后的结果为1，如果小于该值，则结果为
‑
1；
[0004](2)将BN层参数融合到前一层的卷积中：
[0005][0006]Z
N
＝X
N
*W
N
′
+bias
′
；
[0007]把当做等效的权重矩阵，输入输出不变，当做等效偏置，将W
N
′
和bias
′
映射到忆阻器阵列中，[X
N
,1]转换得到的电压脉冲信号输入到对应的位线端。流经源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络批标准化层硬件实现方法，其特征在在于，包括以下步骤：在神经网络中，确定所述神经网络的当前卷积结果；基于所述当前卷积结果生成K矩阵，并得到与所述K矩阵呈映射关系的忆阻器阵列，其中，所述忆阻器阵列的电导差值与所述K矩阵的参数相对应；以及利用所述忆阻器阵列进行所述神经网络的BN层计算，得到所述BN层的计算结果。2.根据权利要求1所述的方法，其特征在于，所述得到与所述K矩阵呈映射关系的忆阻器阵列，包括：将所述忆阻器阵列中任意两忆阻器单元构成2T2R单元，得到所述忆阻器阵列。3.根据权利要求2所述的方法，其特征在于，所述任意两忆阻器单元的源线相连，且位线上施加相同幅值、极性相反的电压脉冲信号。4.根据权利要求1所述的方法，其特征在于，还包括：检测流经源线的实际电流；根据所述实际电流计算实际电压和上下电导的至少一个电导差值。5.根据权利要求4所述的方法，其特征在于，所述利用所述忆阻器阵列进行所述神经网络的BN层计算，包括：将所述K矩阵中的参数转换为所述至少一个电导差值。6.一种神经网络批标准化层硬件实现装置，其特征在在于，包括：确定模块，用于在神经网络中，确定所述神经网络的当前卷积结果；获取模块，用于基于所述当前卷积结果生成K矩阵，并得到与所述K矩阵呈映射关系的忆阻器阵列，其中，所述...

【专利技术属性】
技术研发人员：高滨，周颖，唐建石，张清天，钱鹤，吴华强，
申请(专利权)人：清华大学，
类型：发明
国别省市：