【技术实现步骤摘要】
一种基于脉冲神经网络的目标分割方法与系统
[0001]本专利技术涉及一种基于脉冲神经网络的目标分割方法与系统，尤其涉及一种低功耗
、
高速环境下的目标分割方法，属于目标分割领域
。
技术介绍
[0002]目标分割是计算机视觉的一个基本任务，在目标检测与跟踪
、
自动驾驶和人机交互等许多领域得到了广泛应用
。
近年来使用深度学习与神经网络
(Artificial Neural Network
，
ANN)
解决目标分割问题已经取得了很多进展，并逐渐成为主流解决方式
。
然而，现有的性能良好的神经网络方法常常面临这高功耗的困境，已经越来越不能满足现有的应用需求；主要原因在于网络内部采用浮点数进行计算，尽管有着单精度的模型，但仍不可避免能量的过度消耗
。
另一方面，传统的基于视觉传感器获得图片模态数据的相机，在面临低光照
、
高动态
、
高速的场景时无法取得良好的分割结果；这些传感...
【技术保护点】
【技术特征摘要】
1.
一种基于脉冲神经网络的目标分割方法，其特征在于：包括如下步骤，步骤
101
：通过事件脉冲相机采集时空事件脉冲流
E
，为了适配脉冲神经网络的输入形式，利用脉冲间隔能够表征物体亮度差异的特性，根据事件脉冲间隔转换关系，将连续时空事件脉冲流
E
转化为适配脉冲神经网络的输入表示
I
；步骤
102
：使用脉冲神经元作为激活函数，模拟脉冲发放，减少目标分割模型能量消耗并提高运行效率；步骤
103
：使用
N
层脉冲神经网络对时刻
t
的输入表示
I
t
进行多尺寸特征提取，根据设定的脉冲神经元时间步长
Step
，获取多步特征
F
i,t
，同时更新脉冲神经元的膜电位
mem
i,t
，提高目标分割模型对连续事件脉冲输入的特征提取能力；步骤
104
：将步骤
103
中最后一层的多步特征
F
N,t
作为时空特征聚合模块的输入
E
t
，在时间和空间维度同时聚合目标特征，获得聚合后的输出
A
t
，提高目标分割模型对目标的匹配能力和对特征的利用率；步骤
105
：使用步骤
103
的多尺寸特征
F
N
‑
1,t
,F
N
‑
2,t
与步骤
104
的输出
A
t
作为金字塔上采样模块的输入，获得融合后的目标特征
O
t
，提高目标分割模型对粗粒度和细粒度信息的特征融合能力，提高目标分割结果的准确性；步骤
106
：使用步骤
105
的输出
O
t
作为分割头的输入，通过插值操作恢复脉冲尺寸，使用
Sigmoid
函数获取
t
时刻的多步预测结果
Pred
t
；步骤
107
：对步骤
106
的多步预测结果
Pred
t
，使用
Multi
‑
Step Loss
约束目标分割模型产生的前期时间步长特征，降低目标分割模型对时间步长的依赖，并提高目标分割模型的鲁棒性；步骤
108
：重复步骤
101
‑
107
处理连续的事件脉冲流，使用脉冲神经元作为激活函数，提高目标分割模型的运算速率，并降低目标分割模型的能量消耗；使用脉冲神经元的膜电位
V
作为隐藏状态传递时空信息，提高目标分割模型对连续事件脉冲输入的特征提取能力；通过时空特征聚合模块融合多时间步长之间的特征信息，提高目标分割模型对特征的利用率，进而提高目标分割结果的准确性和鲁棒性
。2.
如权利要求1所述的一种基于脉冲神经网络的目标分割方法，其特征在于：步骤
101
中所述连续的时空事件脉冲流
E
，包括事件相机产生的事件数据
、
脉冲相机产生的脉冲数据；所述时空事件脉冲流
E
为
N
×
H
×
W
矩阵，且
E∈{0,1}
N
×
H
×
W
，其中
N
是以
T
为时间间隔记录脉冲数据的次数，
H
×
W
为相机的空间分辨率；为了适配神经网络的输入形式，根据脉冲数据记录累计光强的特点，使用公式
(1)
所示脉冲间隔转换关系，将连续的时空事件脉冲流
E
转化为输入表示
I∈R H
×
W
；其中
C
为设定的最大灰度值，
x,y
为脉冲数据的空间位置，
Δ
t
(x,y)
为当前位置两次脉冲发放的间隔时间
。3.
如权利要求2所述的一种基于脉冲神经网络的目标分割方法，其特征在于：步骤
102
中所述使用脉冲神经元模拟脉冲发放，所述脉冲神经元为
IF、LIF
或
QLIF
；场景的光照强度影响事件脉冲数据的稠密
、
稀疏程度，使用光强比例
LIS
来衡量场景的光照强度，
LIS
的具体
公式为：其中
M
为每帧事件脉冲数据中的脉冲发放个数，
H
×
W
为相机的空间分辨率；对于光照强度较低的场景，相机不能获得足够的事件脉冲数据，导致事件脉冲数据在空间上分布稀疏，输入表示
I
中的信息不足；基于事件脉冲数据的特性与脉冲神经网络模拟人脑生物信号发放的过程，利用脉冲神经元作为激活函数，并使用脉冲神经元的膜电位作为隐藏状态记忆脉冲特征；脉冲神经元分为充电
、
放电和状态重置三个步骤，具体公式依次如下：
H[t]
＝
f(V[t
‑
1],X[t]) (3)S[t]
＝
Θ
(H[t]
‑
V
threshold
) (4)V[t]
＝
H[t]
ꢀ‑ꢀ
V
threshold · S[t] (5)
其中
V[t
‑
1]
为
t
‑1时刻神经元的膜电位，
X[t]
为
t
时刻的神经元输入，
H[t]
为神经元充电后的膜电位；
S[t]
为神经元当前时刻输出，
V
threshold
为神经元设定的脉冲发放阈值，
Θ
为阶跃函数，当输入大于0时，输出为1，其余情况输出为0；
V[t]
为放电后的神经元膜电位
。4.
如权利要求3所述的一种基于脉冲神经网络的目标分割方法，其特征在于：步骤
103
所述使用
N
层脉冲神经网络来提取特征，膜电位的状态积累有利于处理连续的高速事件脉冲数据；当输入的数据稀疏导致脉冲神经元无法提取有效的特征时，则对输入数据重复迭代
Step
次来更新膜电位，保证输出具有充足的特征信息，每一步特征提取的具体公式为：：其中
Layer
i
为每一层的脉冲神经网络，
s
为当前神经元的迭代步数，当
s
＝
1,t
＝1时，被初始化为全0矩阵；为
t
‑1时刻迭代到第
s
‑1步时的神经元膜电位，步时的神经元膜电位，为第
i
层每一步迭代的输出特征
,H
′
、W
′
为多尺寸特征的分辨率
,
将每一步特征聚合
concat
获得多步特征
F
i,t
∈{0,1}
Step
×
B
×
C
×
H
′×
W
...
【专利技术属性】
技术研发人员：朱林，陈现章，王立志，张磊，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。