基于增强脉冲的深层双阈值脉冲神经网络转换训练方法技术

本发明专利技术公开一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，主要步骤包括：训练ANN；基于增强脉冲深层双阈值SNN转换算法映射权值；设置双阈值增强脉冲神经元阈值。先提出了新的增强脉冲的概念，基于这种新的脉冲形式提出了能处理增强脉冲的新的双阈值增强脉冲神经元模型。双阈值和增强脉冲使单个脉冲同时可以表示极性以及在同一时刻发放脉冲的数量，极大提高了信息的表示能力。随后基于新的神经元模型，我们提出了一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。我们用MNIST和CIFAR10数据集检验了我们的方法的性能。

Training method of deep double threshold pulse neural network conversion based on enhanced pulse

【技术实现步骤摘要】
基于增强脉冲的深层双阈值脉冲神经网络转换训练方法
本专利技术属于类脑计算、深度学习领域，尤其是有关提高深层脉冲神经网络模型在图像识别上表现的技术。
技术介绍
近年来由于深度学习技术的出现，传统神经网络在众多任务中展示出卓越的效果，在某些特定的场景下甚至能超越人类的能力。但是，完成大型任务需要复杂的深层网络结构的支持，随着神经网络的复杂性逐渐增加，运行其也需要大量的计算资源和能量消耗，这限制了传统神经网络在能源受限设备中的应用。脉冲神经网络(SNN)是脑启发的第三代神经网络，相对于传统人工神经网络(ANN)而言，具有生物可解释高、能耗低、硬件友好性强等特点，成为解决ANN瓶颈的潜在方案。但是训练深度脉冲神经网络是一项具有挑战性的任务。之前的研究人员尝试使用生物可解释性高的脉冲时间依赖可塑性算法训练深层SNN，但是在复杂网络中并没有达到较好的效果。有些研究者采用ANN的训练方法——反向传播来训练深层SNN，尽管这种方法在准确率上能够超过脉冲时间依赖可塑性算法，但是距离传统神经网络的准确率来说仍有较大差距。近期，一种基于转换方法的技术被提出：先训练ANN，然后将ANN的权重转换到与之相同网络结构的SNN中，从而使SNN得到训练的方法。这种方法在之前的工作中达到了与ANN相接近的准确率，在有些工作中甚至达到了与ANN相比无损失精度的SNN。但是，目前这些方法虽然达到了较高的精度，但是却需要大量的时间步长来满足无损失的要求，同时也发放了大量的脉冲，这极大影响了SNN的高效、节能性应用。专利
技术实现思路
本专利技术的目的在于克服现有技术的不足,提出了基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。本专利技术通过增强脉冲概念，随后提出能处理增强脉冲的双阈值增强脉冲神经元模型，最后提出了一种新的基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，并提出了为转化后得到的脉冲神经元阈值赋值的简单算法。利用我们的方法得到的深层SNN更准确、更高效、更节能，为以脉冲为基础的准确高效神经形态计算奠定了基础。本专利技术提出了新的增强脉冲的概念。常见脉冲为二值形式，只能表示在这个时刻点发放脉冲与否的状态。与二值脉冲不同，增强脉冲扩充了一个脉冲值的概念，用来表示在脉冲时刻点发放脉冲的数量或强度，其可为任何形式的数值。增强脉冲极大提高了单个脉冲对信息的表达量。随后，本专利技术提出了双阈值增强脉冲神经元模型，其能够接收、处理和发放增强脉冲。本专利技术提出的双阈值概念也使得神经元可以发放不同极性的脉冲，提高了脉冲的信息表示能力。双阈值增强脉冲神经元动力学公式：其中是第l层的第i个神经元t时刻的膜电位，是第l-1层的第j个神经元t时刻的输出，wij是前一层第j个神经元与l层第i个神经元之间的权值，Ml-1代表了第l-1层的脉冲神经元个数，是对应的偏差量，和分别代表了脉冲神经元的正阈值和负阈值。公式(1)说明了脉冲神经元膜电位的整合情况，公式(2)描述了增强脉冲的发放情况，公式(3)给出了当脉冲发放时膜电位的衰减情况。最后，本专利技术提出了一种基于增强脉冲的深层双阈值脉冲神经网络转换训练方法。整个系统主要包括以下三个部分：训练深层ANN、基于增强脉冲深层SNN的转换算法和双阈值脉冲神经元阈值的设定。具体的技术方案如下：步骤一，训练深层ANN。首先选定与待训练深层SNN架构相同的深层ANN，用反向传播算法训练ANN。步骤二，基于增强脉冲深层双阈值SNN转换算法映射权值。将训练好的传统神经网络神经元的权值映射到对应双阈值脉冲神经网络的增强脉冲神经元的权值上，即得到训练好的深层SNN。本专利技术提供具体的转换依据：传统神经网络的模型公式为：其中是第l层第i个神经元的激活值，是对应的偏差项，α是斜率。目标是使增强脉冲神经元的脉冲发放频率近似ANN神经元的激活输出。在下面的证明过程中只说明膜电位超过正阈值的情况，负阈值与之相同，不予赘述。首先从公式(1)和公式(3)中得到，在发放脉冲前的膜电位为：通过公式(5)迭代计算最后时刻T的膜电位：从公式(2)中可以得到：其中σ是误差项，从公式(6)和公式(7)可以得到：定义脉冲发放频率为：其中是在整个T时间内脉冲发放的总个数。因此，公式(8)可以转化为：可以看出，公式(9)为递归迭代公式，基于此公式可以通过逐层计算近似。首先近似第一层，为了简便计算使ANN和SNN的输入一致，即满足r0(T)＝z0。从公式(4)和公式(9)中可以得到：可以看出，当T趋近于无穷的时候，脉冲频率与ANN的激活值近似。在随后的隐藏层中，通过迭代公式(9)，依靠已知的第一个隐藏层，可以计算得：此公式也说明了在更高层中，激活值与脉冲频率近似。由公式(10)和公式(11)可得，增强脉冲神经元的脉冲发放频率近似ANN神经元的激活输出。因而可以通过直接映射ANN的权值到SNN的方式训练深层SNN。步骤三，设定脉冲神经元双阈值。从公式(10)和公式(11)中可以得到为满足脉冲发放频率与ANN神经元激活值近似的脉冲神经元双阈值与斜率的关系，即：和因而得到简便的脉冲神经元阈值设定方法。有益效果本专利技术提出了新的增强脉冲的概念。原脉冲是二值形式，只能表示在这个时刻点发放脉冲与否的状态。与二值脉冲不同，增强脉冲扩充了一个脉冲值的概念，用来表示在脉冲时刻点发放脉冲的数量或强度，其可为任何形式的数值。增强脉冲极大提高了单个脉冲对信息的表达量。随后，本专利技术提出了双阈值增强脉冲神经元模型，其能够接收、处理和发放增强脉冲。本专利技术提出的双阈值概念也使得神经元可以发放不同极性的脉冲，提高了脉冲的信息表示能力。本专利技术提出了新的增强脉冲概念以及双阈值增强脉冲神经元模型。双阈值和增强脉冲使单个脉冲同时可以表达极性和在脉冲发放时刻的强弱状态，大大提高了信息表示能力。基于新的神经元模型，本专利技术最后提出了一种更加快速、准确、高效的基于增强脉冲的深层脉冲神经网络训练转换方法。我们的方法大幅度提升了深层SNN在图像识别任务上的识别准确率，同时更加快速、高效。该方法改善了以脉冲为基础的认知识别性能，为类脑的神经形态计算体系提供了一种高效可行的架构深层SNN的方法。附图说明图1A是本专利技术提出的双阈值增强脉冲神经元模型输入输出增强脉冲的示例图；图1B是双阈值增强脉冲神经元的激活函数示意图。图2是本专利技术提出的增强脉冲的深层脉冲神经网络转换训练技术的系统框架图。图3展示了本专利技术与当前最新的脉冲神经网络模型的对比，其中准确率是基于MNIST和CIFAR10数据集得到的。具体实施方式下面对本专利技术的使用进行详细说明。1.训练ANN。首先用反向传播算法训练与SNN相同网络结构的ANN。2.基于增强脉冲深层双阈本文档来自技高网...

【技术保护点】
1.基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，包括如下步骤：/n1)训练ANN：/n首先用反向传播算法训练与SNN相同网络结构的ANN；/n2)基于增强脉冲深层双阈值SNN转换算法映射权值：/n使用基于增强脉冲深层SNN转换算法进行转换，将训练好的ANN权值映射到对应的SNN神经元的权值中；/n3)设置双阈值增强脉冲神经元阈值：/n根据提出的阈值设定规则设置转换后得到的双阈值增强脉冲神经元的阈值，得到已训练的深层SNN。/n

【技术特征摘要】
1.基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，包括如下步骤：
1)训练ANN：
首先用反向传播算法训练与SNN相同网络结构的ANN；
2)基于增强脉冲深层双阈值SNN转换算法映射权值：
使用基于增强脉冲深层SNN转换算法进行转换，将训练好的ANN权值映射到对应的SNN神经元的权值中；
3)设置双阈值增强脉冲神经元阈值：
根据提出的阈值设定规则设置转换后得到的双阈值增强脉冲神经元的阈值，得到已训练的深层SNN。


2.根据权利要求1所述的基于增强脉冲的深层双阈值脉冲神经网络转换训练方法，其特征在于，双阈值增强脉冲神经元动力学公式：









其中Vil(t)是第l层的第i个神经元t时刻的膜电位，是第l-1层的第j个神经元t时刻的输出，wij是前一层第j个神经元与l层第i个神经元之间的权值，Ml-1代表了第l-1层的脉冲神经元个数，是对应的偏差量，θp和θN分别代表了脉冲神经元的正阈值和负阈值；
公式(1)说明了脉冲神经元膜电位的整合情况；
公式(2)描述了增强脉冲的发放情况；
公式(3)给出了当脉冲发放时膜电位的衰减情况；
该方法主要包括以下三个部分：训练深层ANN、基于增强脉冲深层SNN的转换算法和双阈值脉冲神经元阈值的设定；
步骤一，训练深层ANN
首先选定与待训练深层SNN架构相同的深层ANN，用反向传播算法训练ANN；
步骤二，基于增强脉冲深层双阈值SNN转换算法映射权值
将训练好的传统神经网络神经元的权值映射到对应双阈值脉冲...

【专利技术属性】
技术研发人员：于强，马晨翔，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12