基于增强脉冲的深层双阈值脉冲神经网络转换训练方法技术

本发明专利技术公开一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，主要步骤包括：训练ANN；基于增强脉冲深层双阈值SNN转换算法映射权值；设置双阈值增强脉冲神经元阈值。先提出了新的增强脉冲的概念，基于这种新的脉冲形式提出了能处理增强脉冲的新的双阈值增强脉冲神经元模型。双阈值和增强脉冲使单个脉冲同时可以表示极性以及在同一时刻发放脉冲的数量，极大提高了信息的表示能力。随后基于新的神经元模型，我们提出了一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。我们用MNIST和CIFAR10数据集检验了我们的方法的性能。

Training method of deep double threshold pulse neural network conversion based on enhanced pulse

【技术实现步骤摘要】
基于增强脉冲的深层双阈值脉冲神经网络转换训练方法
本专利技术属于类脑计算、深度学习领域，尤其是有关提高深层脉冲神经网络模型在图像识别上表现的技术。
技术介绍
近年来由于深度学习技术的出现，传统神经网络在众多任务中展示出卓越的效果，在某些特定的场景下甚至能超越人类的能力。但是，完成大型任务需要复杂的深层网络结构的支持，随着神经网络的复杂性逐渐增加，运行其也需要大量的计算资源和能量消耗，这限制了传统神经网络在能源受限设备中的应用。脉冲神经网络(SNN)是脑启发的第三代神经网络，相对于传统人工神经网络(ANN)而言，具有生物可解释高、能耗低、硬件友好性强等特点，成为解决ANN瓶颈的潜在方案。但是训练深度脉冲神经网络是一项具有挑战性的任务。之前的研究人员尝试使用生物可解释性高的脉冲时间依赖可塑性算法训练深层SNN，但是在复杂网络中并没有达到较好的效果。有些研究者采用ANN的训练方法——反向传播来训练深层SNN，尽管这种方法在准确率上能够超过脉冲时间依赖可塑性算法，但是距离传统神经网络的准确率来说仍有较大差距。近期，一种基于转换方本文档来自技高网...

【技术保护点】
1.基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，包括如下步骤：/n1)训练ANN：/n首先用反向传播算法训练与SNN相同网络结构的ANN；/n2)基于增强脉冲深层双阈值SNN转换算法映射权值：/n使用基于增强脉冲深层SNN转换算法进行转换，将训练好的ANN权值映射到对应的SNN神经元的权值中；/n3)设置双阈值增强脉冲神经元阈值：/n根据提出的阈值设定规则设置转换后得到的双阈值增强脉冲神经元的阈值，得到已训练的深层SNN。/n

【技术特征摘要】
1.基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，包括如下步骤：
1)训练ANN：
首先用反向传播算法训练与SNN相同网络结构的ANN；
2)基于增强脉冲深层双阈值SNN转换算法映射权值：
使用基于增强脉冲深层SNN转换算法进行转换，将训练好的ANN权值映射到对应的SNN神经元的权值中；
3)设置双阈值增强脉冲神经元阈值：
根据提出的阈值设定规则设置转换后得到的双阈值增强脉冲神经元的阈值，得到已训练的深层SNN。


2.根据权利要求1所述的基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，双阈值增强脉冲神经元动力学公式：









其中Vil(t)是第l层的第i个神经元t时刻的膜电位，是第l-1层的第j个神经元t时刻的输出，wij是前一层第j个神经元与l层第i个神经元之间的权值，Ml-1代表了第l-1层的脉冲神经元个数，是对应的偏差量，θp和θN分别代表了脉冲神经元的正阈值和负阈值；
公式(1)说明了脉冲神经元膜电位的整合情况；
公式(2)描述了增强脉冲的发放情况；
公式(3)给出了当脉冲发放时膜电位的衰减情况；
该方法主要包括以下三个部分：训练深层ANN、基于增强脉冲深层SNN的转换算法和双阈值脉冲神经元阈值的设定；
步骤一，训练深层ANN
首先选定与待训练深层SNN架构相同的深层ANN，用反向传播算法训练ANN；
步骤二，基于增强脉冲深层双阈值SNN转换算法映射权值
将训练好的传统神经网络神经元的权值映射到对应双阈值脉冲...

【专利技术属性】
技术研发人员：于强，马晨翔，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12