【技术实现步骤摘要】
本专利技术涉及类脑脉冲神经网络算法，尤其涉及一种减小脉冲神经网络信息损失的训练方法、装置及设备。
技术介绍
1、类脑智能是当前科研界和工程界的前沿热点，其中脉冲神经网络是类脑智能算法的核心算法之一，被认为是目前最接近人脑工作方式的神经网络，称为第三代神经网络。脉冲神经网络的神经元以脉冲信号来传递信息，当神经元的膜电压累计超过放电阈值就会发放脉冲，同时膜电压重置为初始电压。在算法和硬件实现上，一般将神经元初始膜电压看作0，发放的脉冲看作1，不发放时看作0。这种信息传输处理方式可以将复杂的乘法运算转化为简单的加法运算，从而享有低功耗的优势。
2、但是显然不管神经元的膜电压积累到多大的值，只要其超过放电阈值就会在发放脉冲之后重置到0这种重置方式忽略了膜电压的大小，极大地使得脉冲神经网络信息在重置的过程中受到损失。我们将这种忽略膜电压大小的重置方式称为“硬”重置；另一方面，膜电压通过和放电阈值比较选择向后传输信息0或者1在算法或者硬件实现上是一种二值量化方式，即将一个实数值量化到二值0或1，这无疑会带来量化误差，同样会使得脉冲神经网络的信息受到损失。信息损失的问题制约着高精度脉冲神经网络的获得。
技术实现思路
1、本专利技术提供了一种减小脉冲神经网络信息损失的训练方法、装置及设备，能够解决现有技术中脉冲神经网络信息损失较大的技术问题。
2、根据本专利技术的一方面，提供了一种减小脉冲神经网络信息损失的训练方法，所述方法包括：
3、s10、将数据集分为n组，
4、s20、对当前时刻输入的数据进行前向传播，并基于上一时刻神经元放电后的膜电压和当前时刻神经元的输入电压获取当前时刻神经元的膜电压；
5、s30、基于放电阈值对当前时刻神经元的膜电压进行调制，得到当前时刻神经元调制后的膜电压；
6、s40、将当前时刻神经元调制后的膜电压输入放电函数，得到当前时刻神经元的发放脉冲；
7、s50、采用“软”重置方式，基于当前时刻神经元的膜电压和当前时刻神经元的发放脉冲得到当前时刻神经元的放电后的膜电压；
8、s60、在完成当前组所有数据的输入后，获取脉冲神经网络的交叉熵损失；
9、s70、基于脉冲神经网络的交叉熵损失进行反向传播，得到更新后的脉冲神经网络；
10、s80、判断是否完成n组数据的迭代，若是，完成脉冲神经网络的训练，否则，将另一组数据依次输入更新后的脉冲神经网络，并转至s20。
11、优选的，在s50中，采用“软”重置方式，基于当前时刻神经元的膜电压和当前时刻神经元的发放脉冲得到当前时刻神经元的放电后的膜电压包括：在当前时刻的神经元发生放电行为的情况下，将当前时刻神经元的膜电压与当前时刻神经元的发放脉冲的差值作为当前时刻神经元的放电后的膜电压；在当前时刻的神经元不发生放电行为的情况下，将当前时刻神经元的膜电压作为当前时刻神经元的放电后的膜电压。
12、优选的，在s50中，通过下式得到当前时刻神经元的放电后的膜电压：
13、u[t]＝h[t]-o[t]；
14、式中，u[t]为t时刻神经元的放电后的膜电压，h[t]为t时刻神经元的膜电压，o[t]为t时刻神经元的发放脉冲。
15、优选的，在s30中，通过下式得到当前时刻神经元调制后的膜电压：
16、
17、式中，为t时刻神经元调制后的膜电压，h[t]为t时刻神经元的膜电压，vth为放电阈值。
18、优选的，在s20中，通过下式获取当前时刻神经元的膜电压：
19、h[t]＝u[t-1]-x[t]；
20、式中，h[t]为t时刻神经元的膜电压，u[t-1]为t-1时刻神经元的放电后的膜电压，x[t]为t时刻神经元的输入电压。
21、优选的，在s40中，通过下式得到当前时刻神经元的发放脉冲：
22、
23、式中，o[t]为t时刻神经元的发放脉冲，θ表示放电函数，为t时刻神经元调制后的膜电压，vth为放电阈值。
24、根据本专利技术的另一方面，提供了一种减小脉冲神经网络信息损失的训练装置，包括类脑芯片，所述类脑芯片用于接收场景数据，并根据场景数据输出应用结果，以进行场景应用；其中，所述类脑芯片上部署有采用上述任一方法训练的脉冲神经网络。
25、根据本专利技术的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的减小脉冲神经网络信息损失的训练程序，所述处理器执行所述减小脉冲神经网络信息损失的训练程序时实现上述任一所述方法。
26、应用本专利技术的技术方案，通过在量化放电之前，增加一个调制函数，对神经元的膜电压进行调制，使得调制后的膜电压的值尽可能地接近脉冲0/1值，减小量化误差，从而减少了脉冲神经网络的信息损失，提高了脉冲神经网络的精度；同时，将神经元“硬”重置的方式改为了“软”重置的方式，即当脉冲神经元放电之后，膜电压不再重置到0，而是动态重置到膜电压的值减去放电的值，以使神经元可以真实地反映放电前膜电压的大小，从而减小了脉冲神经网络的信息损失，提高了脉冲神经网络的精度。
本文档来自技高网...【技术保护点】
1.一种减小脉冲神经网络信息损失的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在S50中，采用“软”重置方式，基于当前时刻神经元的膜电压和当前时刻神经元的发放脉冲得到当前时刻神经元的放电后的膜电压包括：在当前时刻的神经元发生放电行为的情况下，将当前时刻神经元的膜电压与当前时刻神经元的发放脉冲的差值作为当前时刻神经元的放电后的膜电压；在当前时刻的神经元不发生放电行为的情况下，将当前时刻神经元的膜电压作为当前时刻神经元的放电后的膜电压。
3.根据权利要求1或2所述的方法，其特征在于，在S50中，通过下式得到当前时刻神经元的放电后的膜电压：
4.根据权利要求1所述的方法，其特征在于，在S30中，通过下式得到当前时刻神经元调制后的膜电压：
5.根据权利要求1所述的方法，其特征在于，在S20中，通过下式获取当前时刻神经元的膜电压：
6.根据权利要求1-5中任一所述的方法，其特征在于，在S40中，通过下式得到当前时刻神经元的发放脉冲：
7.一种减小脉冲神经网络信息损失的训练装置，其特征
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的减小脉冲神经网络信息损失的训练程序，所述处理器执行所述减小脉冲神经网络信息损失的训练程序时实现权利要求1至6任一所述方法。
...【技术特征摘要】
1.一种减小脉冲神经网络信息损失的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在s50中，采用“软”重置方式，基于当前时刻神经元的膜电压和当前时刻神经元的发放脉冲得到当前时刻神经元的放电后的膜电压包括：在当前时刻的神经元发生放电行为的情况下，将当前时刻神经元的膜电压与当前时刻神经元的发放脉冲的差值作为当前时刻神经元的放电后的膜电压；在当前时刻的神经元不发生放电行为的情况下，将当前时刻神经元的膜电压作为当前时刻神经元的放电后的膜电压。
3.根据权利要求1或2所述的方法，其特征在于，在s50中，通过下式得到当前时刻神经元的放电后的膜电压：
4.根据权利要求1所述的方法，其特征在于，在s30中，通过下式得到当前时刻神经...
【专利技术属性】
技术研发人员：马喆，黄旭辉，郭宇飞，陈元培，张力文，
申请(专利权)人：航天科工集团智能科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。