一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片制造方法及图纸

本发明专利技术公开了一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片，其中，训练方法包括：(1)采用量化训练的方法来训练量化ANN；(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。利用本发明专利技术，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。提高了潜在SNN应用的实时性以及能效。提高了潜在SNN应用的实时性以及能效。

【技术实现步骤摘要】
一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片


[0001]本专利技术属于类脑计算领域，尤其是涉及一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片。

技术介绍

[0002]脉冲神经网络(Spiking Neural Network,SNN)，是实现低功耗高效机器智能的关键。作为第三代人工智能网络，脉冲神经网络(SNN)具有至少与第二代人工神经网络(ANN)相同的计算能力。
[0003]不同于ANN中使用的实数激活的神经元，SNN中的神经元使用脉冲(非0即1的二进制事件)来进行基于事件驱动的信息的处理以及传递。由于生物神经网络基于脉冲(Spike)的稀疏信息处理和传递机制被认为是其高效的原因，SNN也因此被认为具有低功耗的潜质。在SNN的事件驱动计算模型中，所有的神经元不再受全局时钟的驱动而是基于事件异步驱动并进行计算。由于神经元之间的计算仅由事件驱动，互相独立，因此SNN不受时钟轮询的限制。结合新兴的神经形态器件，将极大的提升SNN的低能耗潜力。
[0004]目前现有技术中训练SNN的技术方法，主要包括以下两大类：
[0005]直接训练技术：通过使用替代梯度克服了脉冲函数的不可微性，并应用时间反向传播(BPTT,Back
‑
propagation Through Time)类似于ANN中的反向传播方法来直接优化SNN。如公开号为CN115358261A的中国专利文献公开了一种基于脉冲时间序列误差反向传播的触觉物体识别方法，将用于模型训练的触觉数据输入脉冲神经网络模型，并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数，最终得到训练完毕的脉冲神经网络模型。
[0006]然而，由于脉冲训练的稀疏性，直接使用BPTT训练SNN在主流计算设备(如GPU)上的计算资源和内存的利用率都较低，不利于网络训练。另一方面，替代梯度引起的深度网络中梯度消失或爆炸问题会使得直接训练方法对于高复杂性任务的效果较差。
[0007]ANN到SNN转化技术：采用与ANN完全相同的训练过程，能够在主流硬件上利用现有针对ANN的高效计算框架。此外，通过将ANN中的神经网络激活值近似为SNN中的脉冲发放率，ANN到SNN的转换算法在具有挑战性的任务上取得了良好的性能。然而，现有技术方案由于存在量化误差和累积误差，会导致转换过程中性能下降，特别是在延迟较短的情况下。

技术实现思路

[0008]本专利技术提供了一种基于量化ANN的脉冲神经网络转化训练方法，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。
[0009]一种基于量化ANN的脉冲神经网络转化训练方法，包括：
[0010](1)采用量化训练的方法来训练量化ANN；
[0011](2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；
[0012](3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；
[0013](4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。
[0014]步骤(2)中，构建量化ANN和脉冲神经网络SNN之间的等价映射具体为：
[0015]通过构建ANN中在空域上对于输入浮点数的量化结果(量化数值)与SNN在时域上通过脉冲发放函数对输入膜电位在时域上的量化结果(脉冲发放率)之间的映射来实现量化ANN到SNN的映射。
[0016]在量化训练ANN的时候同时对激活和权重进行量化，将量化ANN中的低精度权值直接映射到转化SNN的低精度突触权值中。
[0017]对于激活值量化精度为b位的量化ANN，其量化后的激活值映射到步长为T＝2
b
‑
1的SNN的脉冲发放率。
[0018]步骤(3)中，有符号IF神经元模型通过对于已经发放脉冲的数目以及当前的膜电位来判断是否有错误发放的脉冲；
[0019]当膜电位低于负阈值同时发放的脉冲数大于零时，有符号IF神经元模型认为存在错误发放的脉冲，并发放一个负脉冲以纠正错误同时将膜电位加上正阈值以复位。
[0020]步骤(4)中，使用逐层微调方法时，通过构建与SNN共享权值的代理ANN，通过代理ANN间接实现对SNN权重的优化。
[0021]逐层微调方法的具体过程为：
[0022]通过代理ANN逐层降低SNN输出的脉冲发放率图谱与原始量化ANN的激活值图谱之间的欧式距离，让SNN输出的脉冲发放率尽可能的近似原始量化ANN中的激活值；
[0023]在训练数据集上，从网络的第二层开始，将当前层的SNN的脉冲发放率图谱作为代理ANN的输出，上一层的SNN的脉冲发放率图谱作为输入，优化ANN权重以降低SNN脉冲发放率与量化ANN之间的欧式距离；然后将优化后权重更新给SNN对应层的突触权重，并更新当前层SNN的输出；重复这一过程直到抵达网络最后的分类层。
[0024]本专利技术还提供了一种基于量化ANN的脉冲神经网络转化训练装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述训练方法。
[0025]本专利技术还提供了一种类脑芯片，其部署有脉冲神经网络SNN，所述的脉冲神经网络SNN采用上述训练方法进行训练。
[0026]与现有技术相比，本专利技术具有以下有益效果：
[0027]1、本专利技术采用SNN中的时序量化和ANN中的空间量化之间的等效映射。基于此映射，展示了时序量化误差可以通过量化ANN监督学习最小化，从而通过找到最佳裁剪范围和网络每层的权重以及激活的分布从而提高ANN到SNN的转化效率。
[0028]2、本专利技术采用有符号的IF神经元模型以及利用额外的代理ANN来减少SNN和原始ANN之间在脉冲发放率和激活值之间差异的逐层微调机制在ANN到SNN转化过程中降低序列误差及其累积误差的作用，从而提高ANN到SNN的转化效率。
[0029]3、本专利技术采用在最小化量化误差以及序列误差之下的量化ANN到SNN转化效率，在SNN性能精度接近全精度ANN的前提下大幅降低了SNN网络的推断延迟，提高了潜在SNN应用的实时性以及能效。
附图说明
[0030]图1为本专利技术一种基于量化ANN的脉冲神经网络转化训练方法框架流程图；
[0031]图2为本专利技术中ANN空间量化与SNN时间量化之间的等价性示意图；
[0032]图3为本专利技术中序列误差的产生原因以及其对于转化SNN影响的示意图；
[0033]图4为本专利技术中转化后SNN逐层微调模块的示意图。
具体实施方式
[0034]下面结合附图和实施例对本专利技术做进一步详细描述，需要指出的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量化ANN的脉冲神经网络转化训练方法，其特征在于，包括：(1)采用量化训练的方法来训练量化ANN；(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。2.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(2)中，构建量化ANN和脉冲神经网络SNN之间的等价映射具体为：通过构建ANN中在空域上对于输入浮点数的量化数值与SNN在时域上通过脉冲发放函数对输入膜电位在时域上的脉冲发放率之间的映射来实现量化ANN到SNN的映射。3.根据权利要求2所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，在量化训练ANN的时候同时对激活和权重进行量化，将量化ANN中的低精度权值直接映射到转化SNN的低精度突触权值中。4.根据权利要求3所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，对于激活值量化精度为b位的量化ANN，其量化后的激活值映射到步长为T＝2
b
‑
1的SNN的脉冲发放率。5.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(3)中，有符号IF神经元模型通过对于已经发放脉冲的...

【专利技术属性】
技术研发人员：郑乾，潘纲，胡扬帆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：