一种基于自回落神经元模型的脉冲神经网络的训练方法技术

本发明专利技术为解决随着现有脉冲神经网络的复杂化，脉冲发射频率增加，产生了更多的计算与存储消耗，使得神经网络的精度与工作效率均有所降低的问题，而提供一种基于自回落神经元模型的脉冲神经网络的训练方法。该方法通过设定当神经元膜电压超过初始阈值并保持增长态势时触发脉冲激发的机制和设定最大激发上限，减少神经元脉冲激发数，以减少脉冲引起的精度损失与存储资源与计算消耗，经过神经元处理信号后，再对脉冲神经网络进行迭代训练，设定脉冲神经网络精度阈值，当脉冲神经网络的损失小于等于精度阈值Q时，得到适用复杂的数据处理任务且满足精度要求的脉冲神经网络。务且满足精度要求的脉冲神经网络。务且满足精度要求的脉冲神经网络。

【技术实现步骤摘要】
一种基于自回落神经元模型的脉冲神经网络的训练方法


[0001]本专利技术涉及脉冲神经网络
，具体涉及一种基于自回落神经元模型的脉冲神经网络的训练方法。

技术介绍

[0002]随着神经网络的发展，脉冲神经网络的能耗低、并行能力更强，在专门的神经形态计算平台上可以加速运算效率，得到了广泛的应用。然而随着网络结构的复杂化，脉冲发射频率也随之骤增，产生更多的计算与存储消耗，同时冗杂的脉冲序列可能会降低神经网络的工作效率。
[0003]LIF神经元是目前最常用的神经元，该模型无需刻意描述动作电位的形状。为了得到瞬时电压与输入电流的关系，使用电学的基本理论来解释该问题。膜电压上升到阈值时就会引起动作电位从而产生脉冲，在没有输入的情况下，膜电位会指数衰减到静息电位。随着网络结构与前神经元数量的增加，将导致后神经元膜电压的快速积累，由于常规神经元较为单一的脉冲触发机制，会造成脉冲激发的频率骤增并形成冗杂的脉冲序列，使得神经元处理过多信息甚至更新为错误的神经元状态。
[0004]中国专利CN114037047A公开了一种脉冲神经网络的训练方法，具体是将目标卷积神经网络转换为初始脉冲神经网络，同时在时间域和空间域对所述初始脉冲神经网络进行训练，解决了完成一次前向推理所需要的时间步长较长的问题。但是使用转化的方法获得脉冲神经网络受到人工神经网络的精度与结果等方面约束，且训练成本高。
[0005]中国专利CN113255905A公开了脉冲神经网络中神经元的信号处理方法及该网络训练方法，具体是将多脉冲机制引入神经元的信号处理，同时添加抑制神经元活跃程度作为损失等技术手段，实现了脉冲神经网络高效训练。虽然使用自学习的训练方式，引入了多脉冲机制，然而该机制导致了脉冲数的增加。同时增加了不同的损失计算，在两者机制的共同作用下，将导致网络产生额外计算消耗。

技术实现思路

[0006]本专利技术的目的是解决随着现有脉冲神经网络的复杂化，脉冲发射频率增加，产生了更多的计算与存储消耗，使得神经网络的精度与工作效率均有所降低的问题，而提供一种基于自回落神经元模型的脉冲神经网络的训练方法。
[0007]为达到上述目的，本专利技术采用的技术方案为：
[0008]一种基于自回落神经元模型的脉冲神经网络的训练方法，其特殊之处在于，包括以下步骤：
[0009]步骤1、采集接收原始图像并进行预处理，设定脉冲神经网络的结构参数，建立脉冲神经网络；
[0010]所述脉冲神经网络包括若干层，每层至少包括一个神经元；
[0011]步骤2、利用脉冲神经网络中的神经元对预处理后的原始图像进行编码生成脉冲
序列，再进行信号处理，生成新的脉冲序列；
[0012]神经元对编码后的脉冲序列进行信号处理具体包括接收期、积累期和激活期；所述接收期为：至少一个神经元接收预处理后的脉冲序列或上层神经元输出的脉冲序列；所述积累期为：神经元基于自身膜电压与接收的脉冲序列计算求和，更新神经元当前膜电压；所述激活期为：设定初始激发阈值，观察神经元当前膜电压的状态，在其满足激发条件时，触发神经元激发脉冲；
[0013]所述神经元的激发条件为：在单个模拟时间步长内，神经元当前膜电压变化状态同时满足：
①
当前膜电压超过初始激发阈值；
②
当前膜电压低于该神经元上一时刻膜电压；
[0014]步骤3、完成神经网络正向传输，利用损失函数计算脉冲神经网络的预测值与脉冲神经网络目标值之间的误差，获得脉冲神经网络的损失；
[0015]步骤4、根据脉冲神经网络的损失，采用误差反向传播算法对脉冲神经网络进行训练；
[0016]步骤5、设定脉冲神经网络精度阈值，当脉冲神经网络的损失小于等于精度阈值Q时，结束训练；反之，调整脉冲神经网络结构或结构参数，返回步骤2，重新训练脉冲神经网络，直至获得满足精度要求的脉冲神经网络。
[0017]进一步地，步骤2的激活期中，所述神经元激发脉冲的幅度大小由当前膜电压与初始激发阈值的比值关系决定；
[0018]第n+1层神经元在t时刻的输出o
t,n+1
表示为：
[0019][0020]其中，V
th
表示初始激发阈值；u
t,n+1
表示第n+1层神经元在t时刻的当前膜电压；u
t
‑
1,n+1
表示第n+1层神经元在t
‑
1时刻的膜电压。
[0021]进一步地，步骤2中，所述神经元激发脉冲的幅度大小为当前膜电压与初始激发阈值的比值高斯函数向下取整的值、或者比值高斯函数向上取整的值、或者取整后数值的线性变换或非线性变换。
[0022]进一步地，步骤2中还包括在激活期中设定脉冲的最大激发上限，以限制脉冲的过度增大，兼顾时间与空间的需求，提高其脉冲序列的利用率；所述神经元激发脉冲的幅度大小为当前膜电压与初始激发阈值的比值关系值与设定脉冲的最大激发上限值中的较小值。
[0023]进一步地，步骤2积累期中第n+1层神经元在t时刻的当前膜电压u
t，n+1
表示为：
[0024]u
t，n+1
＝γu
t
‑
1，n+1
(1
‑
o
t
‑
1，n+1
)+w
n
o
t，n
‑1[0025]其中，γ表示时间常数；u
t
‑
1，n+1
表示第n+1层神经元在t
‑
1时刻的当前膜电压；o
t
‑
1，n+1
表示第n+1层神经元在t
‑
1时刻的输出；w
n
表示第n层神经元的网络权重。
[0026]进一步地，步骤3中，所述损失函数为脉冲神经网络的预测值与脉冲神经网络目标值之间的均方误差，表示为：
[0027][0028]其中，x
i
表示脉冲神经网络中最后一层第i个神经元的预测值；y表示脉冲神经网
络目标值；N表示脉冲神经网络中最后一层神经元的数量，即神经网络需要进行分类的种类数。
[0029]进一步地，步骤4中，所述误差反向传播算法中采用替代梯度函数进行反向传播，用于调整脉冲神经网络的权重；
[0030]所述替代梯度函数h(u)，表示为：
[0031][0032]其中，u表示最终输出神经元的膜电压；sign()表示符号函数；a为决定曲线尖锐程度的参数；V
th
表示初始激发阈值。
[0033]进一步地，所述决定曲线尖锐程度的参数a＝1。
[0034]进一步地，步骤2中，所述脉冲的最大激发上限为3；步骤5中，Q＝0.1。
[0035]进一步地，步骤1具体为：
[0036]1.1、将原始图像填充成正方形，填充大小为4；
[0037]1.2、随机裁剪填充后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自回落神经元模型的脉冲神经网络的训练方法，其特征在于，包括以下步骤：步骤1、采集接收原始图像并进行预处理，设定脉冲神经网络的结构参数，建立脉冲神经网络；所述脉冲神经网络包括若干层，每层至少包括一个神经元；步骤2、利用脉冲神经网络中的神经元对预处理后的原始图像进行编码生成脉冲序列，再进行信号处理，生成新的脉冲序列；神经元对编码后的脉冲序列进行信号处理具体包括接收期、积累期和激活期；所述接收期为：至少一个神经元接收预处理后的脉冲序列或上层神经元输出的脉冲序列；所述积累期为：神经元基于自身膜电压与接收的脉冲序列计算求和，更新神经元当前膜电压；所述激活期为：设定初始激发阈值，观察神经元当前膜电压的状态，在其满足激发条件时，触发神经元激发脉冲；所述神经元的激发条件为：在单个模拟时间步长内，神经元当前膜电压变化状态同时满足：
①
当前膜电压超过初始激发阈值；
②
当前膜电压低于该神经元上一时刻膜电压；步骤3、完成神经网络正向传输，利用损失函数计算脉冲神经网络的预测值与脉冲神经网络目标值之间的误差，获得脉冲神经网络的损失；步骤4、根据脉冲神经网络的损失，采用误差反向传播算法对脉冲神经网络进行训练；步骤5、设定脉冲神经网络精度阈值，当脉冲神经网络的损失小于等于精度阈值Q时，结束训练；反之，调整脉冲神经网络结构或结构参数，返回步骤2，重新训练脉冲神经网络，直至获得满足精度要求的脉冲神经网络。2.根据权利要求1所述的基于自回落神经元模型的脉冲神经网络的训练方法，其特征在于：步骤2的激活期中，所述神经元激发脉冲的幅度大小由当前膜电压与初始激发阈值的比值关系决定；第n+1层神经元在t时刻的输出o
t,n+1
表示为：其中，V
th
表示初始激发阈值；u
t,n+1
表示第n+1层神经元在t时刻的当前膜电压；u
t
‑
1,n+1
表示第n+1层神经元在t
‑
1时刻的膜电压。3.根据权利要求2所述的基于自回落神经元模型的脉冲神经网络的训练方法，其特征在于：步骤2中，所述神经元激发脉冲的幅度大小为当前膜电压与初始激发阈值的比值高斯函数向下取整的值、或者比值高斯函数向上取整的值，或者取整后数值的线性变换或非线性变换。4.根据权利要求1
‑
3任一所述的基于自回落神经元模型的脉冲神经网络的训练方法，其特征在于：步骤2中还包括：在激活期中设定脉冲的最大激发上限；所述神经元激发脉冲的幅度大
小...

【专利技术属性】
技术研发人员：裴乙鉴，徐长卿，刘毅，吴自力，杨银堂，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：