一种面向硬件约束的脉冲神经网络训练方法、装置及芯片制造方法及图纸

本发明专利技术公开了一种面向硬件约束的脉冲神经网络训练方法、装置及芯片，训练方法包括：(1)对于转化前的ANN网络进行修改，根据硬件约束条件缩减ANN网络规模、量化权重并调整类脑计算芯片不支持的层结构，使ANN网络适配硬件约束条件，得到量化ANN；(2)根据硬件约束条件对SNN的神经元形式进行调整，将量化ANN训练并转化为IF神经元量化SNN；(3)对量化ANN进行转化得到采用有符号IF神经元的量化SNN，并对该量化SNN进行微调；(4)以量化ANN以及步骤(3)中采用有符号IF神经元的量化SNN为标准，对步骤(2)中取得的采用IF神经元的量化SNN进行逐层微调。本发明专利技术可以解决现有技术中由ANN转化满足硬件约束条件的SNN性能下降过多的问题。

【技术实现步骤摘要】

本专利技术属于类脑计算领域，尤其是涉及一种面向硬件约束的脉冲神经网络训练方法、装置及芯片。

技术介绍

1、脉冲神经网络(spiking neural network,snn)，又被称作第三代神经网络。脉冲神经网络的网络结构和运行方式从生物学以及脑科学的角度最大程度地模仿了生物大脑神经元，使用时间上离散的脉冲信号来传递信息。当神经元电位到达发射阈值，它就会发射脉冲并传递信号，与此同时重置电位。脉冲神经网络往往是连接稀疏的，由于神经元仅仅在超过发射阈值时发射脉冲，脉冲神经网络具有能耗极低，运行效率高的特点。基于这个优势以及其与生物神经元的结构的近似，物脑运行逻辑的拟合，脉冲神经网络在未来必然具有很大的潜力。

2、现在脉冲神经网络的训练主要通过直接训练，由训练完毕的人工神经网络转化两种途径。

3、直接训练法使用替代梯度法，在模型反向传播时使用连续的函数来替代离散的脉冲。它还应用了原本在人工神经网络(artificial neural network,ann)中应用的时间反向传播(back propagation through time,本文档来自技高网...

【技术保护点】

1.一种面向硬件约束的脉冲神经网络训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向硬件约束的脉冲神经网络训练方法，其特征在于，所述的硬件约束条件包括：对网络的神经元总数、连接总数进行限制；对单层网络的通道数上限进行限制；对采取的神经元形式进行限制；对量化位数进行限制并只允许整数运算；对于指数运算以及除法无法实现。

3.根据权利要求1所述的面向硬件约束的脉冲神经网络训练方法，其特征在于，步骤(2)中，符合硬件约束条件的IF神经元量化SNN中，神经元的规模约束到20万以内，连接数约束到200万以内，每一层通道数限制在128以内。</p>

4.根据...

【技术特征摘要】

1.一种面向硬件约束的脉冲神经网络训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向硬件约束的脉冲神经网络训练方法，其特征在于，所述的硬件约束条件包括：对网络的神经元总数、连接总数进行限制；对单层网络的通道数上限进行限制；对采取的神经元形式进行限制；对量化位数进行限制并只允许整数运算；对于指数运算以及除法无法实现。

3.根据权利要求1所述的面向硬件约束的脉冲神经网络训练方法，其特征在于，步骤(2)中，符合硬件约束条件的if神经元量化snn中，神经元的规模约束到20万以内，连接数约束到200万以内，每一层通道数限制在128以内。

4.根据权利要求1所述的面向硬件约束的脉冲神经网络训练方法，其特征在于，步骤(2)中，神经元形式为if神经元模型，仅能在神经元电位积累超过阈值时发射脉冲并将电位减去阈值，不支持发放负脉冲。

5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：郑乾，陈俊舟，潘纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：