激活归一化方法和存储介质、芯片及电子设备技术

本发明专利技术公开一种激活归一化方法和存储介质、芯片及电子设备。为解决现有技术中无法对较深的人工神经网络进行有效缩放的技术问题，本发明专利技术公开的激活归一化方法，应用于人工神经网络中，包括：获取所述人工神经网络的子网络输出；根据子网络输出，获取子网络输出的第p百分位数；将连接至子网络中最后一层中神经元的突触权重除以所述第p百分位数以更新突触权重。本发明专利技术以动态子网络为基础，动态逐层更新突触权重或/和偏置为技术手段，解决了转换深度神经网络后网络精度变差等技术问题，获得了可以缩放任意深度的前馈网络且不会导致网络准确度降低，有效改善神经形态芯片内部性能的技术效果。本发明专利技术适于神经形态芯片、脉冲神经网络领域。网络领域。网络领域。

【技术实现步骤摘要】
激活归一化方法和存储介质、芯片及电子设备


[0001]本专利技术涉及一种激活归一化（normalization）方法和存储介质、芯片及电子设备，具体涉及一种可以用于构建深度（deep）脉冲神经网络的激活归一化方法和存储介质、芯片及电子设备。

技术介绍

[0002]传统人工神经网络（ANN）神经元的激活函数是ReLU、Sigmoid等数学函数，这是对生物神经元的一种高度抽象，而在传统计算平台中处理函数计算是一种极为普通和容易的事情。现如今发展出来的脉冲神经网络（SNN）中的神经元则类似生物神经元，当膜电位超过阈值，则激发一个脉冲事件，这与生物神经元非常类似。
[0003]但是，脉冲神经网络中诸如突触权重的值应该如何被训练是一个非常棘手的难题，因为脉冲神经元的激活过程，如果抽象成数学函数的话会是一个不可导函数，对于在SNN中也能应用在ANN中被广泛使用的且依赖微分计算的反向传播方法的愿望，变的不切实际。
[0004]为此发展出了一类基于ANN转换的SNN方案，通过训练ANN并将其转换为SNN，以期获得达到或接近达到ANN性能的SNN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激活归一化方法，其应用于人工神经网络中，其特征在于：所述激活归一化方法包括如下步骤：获取所述人工神经网络的子网络输出；根据所述子网络输出，获取所述子网络输出的第p百分位数，其中p为小于100的正数；将连接至所述子网络中最后一层中神经元的突触权重除以所述第p百分位数，作为更新后的连接至所述子网络中最后一层中神经元的突触权重。2.根据权利要求1所述的激活归一化方法，其特征在于：所述子网络为所述人工神经网络的前1至层网络，所述为不小于1的正整数。3.根据权利要求2所述的激活归一化方法，其特征在于：从所述子网络仅包括第1层开始，更新连接至所述子网络中最后一层中神经元的突触权重，并不断扩大所述子网络和更新连接至子网络中最后一层中神经元的突触权重。4.根据权利要求2所述的激活归一化方法，其特征在于：从所述子网络仅包括第1层开始，更新连接至所述子网络中最后一层中神经元的突触权重或/和偏置，并不断扩大所述子网络和更新连接至子网络中最后一层中神经元的突触权重或/和偏置。5.根据权利要求4所述的激活归一化方法，其特征在于：将连接至所述子网络中最后一层中神经元的偏置除以，作为更新后的...

【专利技术属性】
技术研发人员：格雷戈尔，
申请(专利权)人：成都时识科技有限公司，
类型：发明
国别省市：