一种脉冲神经网络神经元时序分级激活方法技术

本发明专利技术提出一种脉冲神经网络神经元时序分级激活方法。本发明专利技术利用特定于时间的可学习权重来重新调整突触前输入，以达到使时间信息归一化更加平滑和符合时间分布的效果。同时，本发明专利技术通过分配每一层近似导数的覆盖范围来扩大近似导数的非零区域，从而减少休眠单元，使深度SNN中的梯度传播更有效，以减少休眠神经元生成的概率，达到提高其表达能力。本发明专利技术的融合方法有效提升了脉冲神经网络在图像分类任务上的精度。类任务上的精度。类任务上的精度。

【技术实现步骤摘要】
一种脉冲神经网络神经元时序分级激活方法


[0001]本专利技术属于计算机视觉、机器学习技术、脉冲神经网络领域，具体涉及一种脉冲神经网络神经元时序分级激活方法。

技术介绍

[0002]现有的脉冲神经网络主要有两种学习算法，间接监督学习和直接监督学习。当前间接监督学习方法忽略了有效的时间域信息，并且需要大量的时间步长来确保准确性。因此，它通常仅限于非神经形态数据集，并具有严重的推理延迟。当前直接监督学习方法没有解决近似导数宽度有限和二进制棘波信号表达能力弱的问题，这使得深度脉冲神经网络的直接训练效率低下。梯度消失和网络退化严重限制了直接训练的网络深度。为了训练出表现更好的脉冲神经网络，批量归一化也十分重要。当前SNN的批量归一化方法参数的复杂度较高，并且可能破坏信息的时间相干性。综上，脉冲神经网络面临着推理延迟大、梯度消失、网络退化严重、缺乏更有效批量归一化方法等问题。

技术实现思路

[0003]针对于脉冲神经网络中的短时突触可塑性、脉冲时序依赖可塑性、稀疏事件驱动等特性，其存在着脉冲活动的二进制和不可微属性的限制，从而容易导致梯度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲神经网络神经元时序分级激活方法，其特征在于，该方法包括时间有效的批量归一化和神经元分级激活两部分，即针对于脉冲神经网络的批量归一化TEBN和神经元激活ZLIF，将时间有效的批量归一化和神经元分级激活融合，所述时间有效的批量归一化为所述神经元分级激活提供脉冲时序信息，神经元分级激活利用脉冲时序信息并进行联合脉冲。2.根据权利要求1所述的一种脉冲神经网络神经元时序分级激活方法，其特征在于，所述时间有效的批量归一化包括如下子步骤：(2.1)输入数据的计算：对于每个时间步，根据当前的输入脉冲数据，计算批量归一化所需的均值和方差；(2.2)均值和方差的更新：使用计算得到的均值和方差来更新整个时间窗口的均值和方差；(2.3)归一化：使用更新后的均值和方差对当前时间步的输入进行归一化操作，缩短输入数据的变化范围；(2.4)缩放和偏移：引入可学习的缩放和偏移参数，能够保持网络的表达能力，再将归一化后的数据重新缩放和平移。3.根据权利要求1所述的一种脉冲神经网络神经元时序分级激活方法，其特征在于，所述神经元分级激活ZLIF具体包括如下子步骤：(3.1)阈值初始化：将神经元按照时间步数t分为t个子神经元，每个子神经元的激活阈值被初始化为一个常数值；这个初始值是根据当前主流脉冲神经网络而设定；(3.2)输入和神经元活动监测：在每个时间步长，记录每个子神经元接收到的输入信号和神经元的激活状态，即是否发放脉冲；(3.3)统计特征计算：基于输入和子神经元活动的记录，计算统计特征，即平均输入和标准差，其统计特征用于提供关于输入分布和神经元活动的信息；(3.4)神经元分级激活：每个ZLIF单元中包含具有不同电平阈值的t个子神经元；在接收到输入后，所述子神经元将更新膜电位，当每一级神经元的膜电位达到相应的阈值，则发射脉冲，ZLIF单元的最终输出是由所有子神经元脉冲的联合。4.根据权利要求1所述的一种脉冲神经网络神经元时序分级激活方法，其特征在于，所述时间有效归一化方法数学表达式为...

【专利技术属性】
技术研发人员：梁秀波，朱哲良，
申请(专利权)人：浙江大学，
类型：发明
国别省市：