【技术实现步骤摘要】
本专利技术涉及类脑智能脉冲神经网络算法，尤其涉及一种基于实值放电的脉冲神经网络训练方法、识别系统及设备。
技术介绍
1、脉冲神经网络被认为是目前最接近人脑工作方式的神经网络，其以二值(0/1)放电的方式传递信息。相比传统人工神经网络，具有低功耗、高并行、天然时序信息整合、异步信息处理等特点与优势，是目前学术界和工业界的研究热点。然而二值放电的方式使得脉冲神经网络只能以固定的值传递信息，限制了脉冲神经网络的精度，从而影响脉冲神经网络的广泛应用。
2、如果在脉冲神经网络中采用实值放电的方式又会影响脉冲神经网络的低功耗优势。因为二值(0/1)放电的方式可以将乘法运算转换为加法运算，加法运算相比乘法运算具有低功耗的优势。同时二值(0/1)放电的方式使得脉冲神经网络可以以事件驱动的方式进行工作，即当脉冲值为1时才启动工作程序，脉冲值为0时进入静息状态，从而节省功耗。
3、总之，脉冲神经网络二值(0/1)放电的方式可以降低功耗，而二值放电的方式又会限制脉冲神经网络的精度。二值(0/1)放电的低功耗和脉冲神经网络的低精度成为了难以协调地矛盾，至今尚未得到很好地解决。如果能很好地解决脉冲神经网络精度下降问题，则可以广泛地应用于低功耗边缘计算设备，促进智能领域创新发展。
技术实现思路
1、本专利技术提供了一种基于实值放电的脉冲神经网络训练方法、识别系统及设备，能够解决现有技术中脉冲神经网络在低功耗和高精度上无法兼容的技术问题。
2、根据本专利技术的一方面，提供了一
3、s10、将数据集分为n组，并将某一组数据依次输入待训练的脉冲神经网络，其中，n为预设迭代次数；
4、s20、对当前输入的数据进行前向传播，以获取每一层的各个神经元的膜电压；
5、s30、基于每一层的各个神经元的膜电压获取每一层的各个神经元的二值放电脉冲，并对每一层的各个神经元的二值放电脉冲进行实值处理，得到每一层的各个神经元的实值放电脉冲；
6、s40、在完成当前组所有数据的输入后，获取脉冲神经网络的交叉熵损失；
7、s50、基于脉冲神经网络的交叉熵损失进行反向传播，得到更新后的脉冲神经网络；
8、s60、判断是否完成n组数据的迭代，若是，转至s70，否则，将另一组数据依次输入更新后的脉冲神经网络，并转至s20；
9、s70、对完成训练的实值脉冲神经网络进行重参数化处理，得到二值脉冲神经网络。
10、优选的，在s30中，通过下述公式得到每一层的各个神经元的实值放电脉冲：
11、
12、式中，为t时刻第l层第i个神经元的实值放电脉冲，a为实数值，为t时刻第l层第i个神经元的膜电压，vth为第l层神经元的脉冲活动触发阈值。
13、优选的，在s70中，对完成训练的实值脉冲神经网络进行重参数化处理，得到二值脉冲神经网络包括：
14、s71、设完成训练的实值脉冲神经网络包括输出特征层g、输入特征层ab和卷积核k，则实值脉冲神经网络的卷积运算为g＝k*ab，其中，*为卷积运算，a为训练学习到的实数张量，b为二值化的张量；
15、s72、将卷积核k和实数张量a结合形成新的卷积核j，则得到重参数化处理后的二值脉冲神经网络，二值脉冲神经网络的卷积运算为g＝j*b。
16、优选的，卷积核k为共享卷积，新的卷积核j为共享卷积或非共享卷积。
17、优选的，当实数张量a与输出特征层逐通道或者逐层对齐时，j为共享卷积；当实数张量a与输出特征层逐神经元对齐时，j为非共享卷积。
18、优选的，在s20中，通过下述公式获取每一层的各个神经元的膜电压：
19、
20、其中，
21、式中，为t时刻第l层第i个神经元的膜电压，τdecay为离散后的膜电位时间常数，为t-1时刻第l层第i个神经元的膜电压，为t-1时刻第l层第i个神经元的实值放电脉冲，为t时刻除了第l层第i个之外的神经元的输入和，wj为第j个神经元的权重，oj(t)为第j个神经元的实值放电脉冲，其中，i≠j。
22、根据本专利技术的另一方面，提供了一种基于实值放电的脉冲神经网络识别系统，包括图像采集设备、智能计算硬件和输出设备，所述图像采集设备用于采集信息；所述智能计算硬件包括采用上述方法训练的二值脉冲神经网络，所述二值脉冲神经网络用于对接收的信息进行识别，并将识别结果输出至所述输出设备。
23、优选的，所述图像采集设备为可见光相机、红外相机或动态事件相机。
24、优选的，所述智能计算硬件为深度学习芯片、fpga或类脑计算芯片。
25、优选的，所述输出设备为图像显示设备或语音提示设备。
26、根据本专利技术的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的基于实值放电的脉冲神经网络训练程序，所述处理器执行所述基于实值放电的脉冲神经网络训练程序时实现上述任一所述方法。
27、应用本专利技术的技术方案，将脉冲神经网络训练和推理过程进行解耦，在训练阶段，引入可学习的实值脉冲，即放电脉冲值的大小不再是单纯的0/1，而可以是任何实数，这样可以增加脉冲神经网络的信息表达能力，从而提升脉冲神经网络的精度；在推理阶段，通过重参数化处理，将实值脉冲神经网络重新转换为二值脉冲神经网络，这样在保持脉冲神经网络精度的同时，重新恢复了脉冲神经网络低功耗的优势。同时，将采用本专利技术的训练方法获得的脉冲神经网络部署到识别系统的智能计算硬件中，可使识别系统实现低功耗高精度识别。
本文档来自技高网...【技术保护点】
1.一种基于实值放电的脉冲神经网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在S30中，通过下述公式得到每一层的各个神经元的实值放电脉冲：
3.根据权利要求1或2所述的方法，其特征在于，在S70中，对完成训练的实值脉冲神经网络进行重参数化处理，得到二值脉冲神经网络包括：
4.根据权利要求3所述的方法，其特征在于，卷积核K为共享卷积，新的卷积核J为共享卷积或非共享卷积。
5.根据权利要求4所述的方法，其特征在于，当实数张量A与输出特征层逐通道或者逐层对齐时，J为共享卷积；当实数张量A与输出特征层逐神经元对齐时，J为非共享卷积。
6.根据权利要求1或2所述的方法，其特征在于，在S20中，通过下述公式获取每一层的各个神经元的膜电压：
7.一种基于实值放电的脉冲神经网络识别系统，其特征在于，包括图像采集设备、智能计算硬件和输出设备，所述图像采集设备用于采集信息；所述智能计算硬件包括采用上述方法训练的二值脉冲神经网络，所述二值脉冲神经网络用于对接收的信息进行识别，并将识别结果输出至
8.根据权利要求7所述的系统，其特征在于，所述图像采集设备为可见光相机、红外相机或动态事件相机。
9.根据权利要求7或8所述的系统，其特征在于，所述智能计算硬件为深度学习芯片、FPGA或类脑计算芯片。
10.根据权利要求7-9中任一项所述的系统，其特征在于，所述输出设备为图像显示设备或语音提示设备。
11.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的基于实值放电的脉冲神经网络训练程序，所述处理器执行所述基于实值放电的脉冲神经网络训练程序时实现权利要求1至6任一所述方法。
...【技术特征摘要】
1.一种基于实值放电的脉冲神经网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在s30中，通过下述公式得到每一层的各个神经元的实值放电脉冲：
3.根据权利要求1或2所述的方法，其特征在于，在s70中，对完成训练的实值脉冲神经网络进行重参数化处理，得到二值脉冲神经网络包括：
4.根据权利要求3所述的方法，其特征在于，卷积核k为共享卷积，新的卷积核j为共享卷积或非共享卷积。
5.根据权利要求4所述的方法，其特征在于，当实数张量a与输出特征层逐通道或者逐层对齐时，j为共享卷积；当实数张量a与输出特征层逐神经元对齐时，j为非共享卷积。
6.根据权利要求1或2所述的方法，其特征在于，在s20中，通过下述公式获取每一层的各个神经元的膜电压：
7.一种基于实值放电的脉冲神经网络识别系...
【专利技术属性】
技术研发人员：郭宇飞，张力文，马喆，黄旭辉，彭玮航，
申请(专利权)人：航天科工集团智能科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。