脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器技术

本发明专利技术公开了脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器，属于脉冲神经网络加速技术领域。现有的脉冲神经网络加速器没有在控制方法层面优化脉冲神经网络计算过程，使得计算延迟高。传统时间驱动加速器不支持抑制性脉冲神经网络，限制其应用范围。本发明专利技术的一种脉冲神经网络加速方法，根据脉冲神经元模型以及脉冲编码方式，构建近似计算模型。该近似计算模型利用脉冲频域编码忽略脉冲序列时间语义这一特征，压缩脉冲信号在时间步上的分布，大幅降低脉冲路由过程以及后续神经计算过程。本发明专利技术的时间驱动加速器，重新规划脉冲神经网络计算过程，设置去重队列以及位示图解决脉冲抖动问题，实现对抑制型脉冲神经网络的高效支持。效支持。效支持。

【技术实现步骤摘要】
脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器


[0001]本专利技术涉及脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器，属于脉冲神经网络加速


技术介绍

[0002]人工神经网络被广泛应用于图像识别，目标检测，自然语言处理等领域。然而近年来人工神经网络不断朝着更深的网络层次、更复杂网络拓扑方向发展。其所带来的计算延迟和能耗问题严重限制了其进一步发展。脉冲神经网络被誉为第三代神经网络，其在运行过程中是局部激活网络，天然具备低延迟低功耗的特性。因此脉冲神经网络是突破传统人工神经网络发展瓶颈的关键技术，在实时领域和嵌入式领域极具应用前景。
[0003]脉冲神经网络与人工神经网络具备相似的网络拓扑，其差异主要体现在神经元模型中。图1中对比了人工神经元与脉冲神经元模型，图中的公式分别为两种神经元计算过程。图中X表示输入数据，W表示连接权重，y表示输出数据,V表示神经元模电压，V
thrd
表示神经元脉冲发放阈值。两种神经元模型均接受多个输入数据，且都需要对输入数据求解加权和。不同的是，人工神经元将加权和进行一次激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲神经网络加速方法，其特征在于，构建近似计算模型，以消除脉冲神经网络在不同时间步上的计算依赖关系，其构建过程，包括以下步骤：第一步，将粗粒度时间段内的所有脉冲信号搜集到同一个时间片内；第二步，根据第一步中的脉冲信号，计算出神经元在一段时间内的膜电压增益；第三步，通过第二步中的膜电压增益，计算脉冲发放频率；第四步，利用第三步中的脉冲发放频率，得到脉冲神经网络的计算结果。2.如权利要求1所述的一种脉冲神经网络加速方法，其特征在于，所述第一步中，近似计算模型基于脉冲频域编码忽略脉冲信号时间语义信息的特性，通过收集脉冲信号操作，摒弃脉冲序列时间语义，以使多个时间步内的脉冲信号被集中在单个时间步。3.如权利要求1所述的一种脉冲神经网络加速方法，其特征在于，所述第二步中，神经元在某一时间段内的膜电压增益，取决于该段时间内突触前神经元所带来的脉冲刺激强度，其具体的计算公式如下：∑
T
'
t=1
X
jt
=∑
T
'
t=1 (∑
Ni=0
W
i,j
*S
it
+leak) /τ≈ (∑
Ni=0
W
i,j *freq
i +leak)/τ 其中，X jt
表示t时刻神经元j的膜电压增益，τ表示时间常数，W
i,j
表示神经元i和神经元j之间连接权重，S
ti
表示神经元i在t时刻是否发射脉冲信号，leak表示泄露项,freq
i
表示神经元i在该时间段内的脉冲发放频率。4.如权利要求3所述的一种脉冲神经网络加速方法，其特征在于，所述第三步中，神经元的脉冲发放频率近似正比于该段时间内的膜电压增益，膜电压增益除以脉冲发射阈值，得到近似脉冲发放频率；其具体的计算公式如下：freq
j =∑
T
'
t=1
S
jt
≈(∑
T
'
t=1
X
jt
) /V
thrd
；其中，V
thrd
表示神经元的脉冲发放阈值。5.如权利要求1
‑
4任一所述的一种脉冲神经网络加速方法，其特征在于，脉冲神经网络经过加速后的计算量公式如下：C
s' =δ'∑
Ni=1
E
i T/T'，δ≤δ'
≪ꢀ
T'*δ；其中，C
s'
表示加速后脉冲神经网络计算量，N表示脉冲神经网络中神经元数目，i表示神经元标号，E
i
表示神经元的后继神经元集合，T表示神经网络总时间步的长度，T＇表示时间粒度，δ表示...

【专利技术属性】
技术研发人员：张弛，罗旺，韩睿，陈骏，钱平，邵先军，王超，宫磊，李曦，周学海，徐华荣，郝运河，张永，戴哲仁，温典，
申请(专利权)人：国网浙江省电力有限公司电力科学研究院，
类型：发明
国别省市：