基于输入加权脉冲神经网络的神经形态视觉目标分类系统技术方案

本发明专利技术公开了一种基于输入加权脉冲神经网络的神经形态视觉目标分类系统，属于人工神经网络技术领域，该分类系统由如下四个方法模块构成：数据预处理模块、网络构建模块、学习模块和推理模块。数据预处理模块用于将获取的事件相机异步输出时空脉冲事件流转换为事件帧序列；网络构建模块用于将输入加权单元和脉冲神经层单元按照一定的网络连接方式搭建成输入加权脉冲神经网络；学习模块用于根据预处理模块得到的事件帧序列，对网络构建模块得到的输入加权脉冲神经网络进行学习，并生成模型文件；推理模块用于加载学习模块输出的网络模型文件进行前馈网络计算。本发明专利技术能够使得神经形态视觉分类脉冲神经网络在具备低时延的同时，保持较高性能。保持较高性能。保持较高性能。

【技术实现步骤摘要】
基于输入加权脉冲神经网络的神经形态视觉目标分类系统


[0001]本专利技术属于机器学习中的深度学习领域，具体涉及一种基于输入加权脉冲神经网络的神经形态视觉目标分类系统。

技术介绍

[0002]事件相机是异步神经形态视觉传感器，它在获取视觉信息的方式上产生了范式变换。与传统视觉传感器在固定时刻对光进行采样不同，事件相机根据场景动态对光进行采样，通过异步测量每个像素点的亮度变化产生脉冲事件流，脉冲事件流对亮度变化的时间、位置和亮度变化极性进行编码。脉冲神经网络(Spiking Neural Networks，SNNs)是一种受大脑运行机制启发，以脉冲序列作为数据传输形式的新一代人工神经网络，相对于传统人工神经网络 (Artificial Neural Networks，ANNs)具有超低时延和耗能低等优势。事件相机高时间分辨率 (微秒级)的事件流输出，结合具有超低时延的脉冲神经网络，在一些对效率和功耗有要求的计算机视觉应用场景中拥有巨大潜力。
[0003]理论上，对神经形态视觉传感器输出的脉冲事件流采用逐事件(Event
‑
by
‑
event)处理方式，每一个事件的输入都会引起脉冲神经网络内部状态的改变，这样可以得到最小时延的输出。但是，由于单个事件中包含的信息量极少，最低时延下的输出结果往往很差。另一种处理方法是，将一段时间内的脉冲事件流以某种方式聚合成为一个新的事件帧(Event Frame)，事件帧中包含的信息量远大于单个事件，这使得网络可以获得较好的性能，但也将引入一些延时。因此，需要研究和开发新的神经形态视觉算法来实现低时延和高性能之间的平衡。
[0004]目标识别与分类是神经形态视觉的一个重要任务。其中，基于脉冲频率编码的神经形态视觉目标分类监督学习方法主要有两种：
[0005](1)基于转换的方法：使用权重调整和归一化方法将训练好的深度神经网络(如，卷积神经网络，全连接神经网络)转换为脉冲神经网络，应用到神经形态视觉目标分类上。这种方法可以获得与深度神经网络相当的精度，但具有内在局限性，例如，激活函数使用受限，并未利用事件流中的时间信息。
[0006](2)基于脉冲的方法：通过训练误差在时间和空间上进行反向传播来进行突触的权重的学习，代表性算法为基于时间的反向传播算法(Backpropagation
‑
Through
‑
Time,BPTT)。这种方法具有更高的计算效率，但是在神经形态视觉目标分类中的精度无法超过基于转换的方法。
[0007]解决神经形态视觉的目标分类与识别任务的主要困难在于如何在充分利用脉冲事件流时空信息，从中有效提取时空特征，以获取更高的分类精度。现有的技术中，基于LIF神经元模型的脉冲神经网络使用时空误差反向传播学习算法来更新权重，这使得研究者可以使用 GPU进行加速训练，还可以使用在深度学习中十分成熟的Pytorch等训练工具。然而，该方法对于网络的输入不加以区分，这在一定程度上会影响网络的性能。事实上，不同时刻的输入包含的信噪比不同，对所有的输入时刻给予相同的输入权重使得网络提取有效
时空特征的能力变弱。

技术实现思路

[0008]为克服上述现有技术的不足，本专利技术提供一种基于输入加权脉冲神经网络的神经形态视觉目标分类系统，首先将脉冲事件流数据聚合成事件帧序列数据，然后根据事件帧包含的信息量的不同为每一个事件帧提供一个输入权重，最后将加权后的事件帧作为脉冲神经网络的新输入，这使得脉冲神经网络能够自适应地关注事件帧序列中对分类结果有重大影响的事件帧，从而可以在仅需要使用少量数据的同时提升神经形态视觉的目标分类与识别任务的准确率。
[0009]为实现上述目的，本专利技术提供如下技术方案：
[0010]基于输入加权脉冲神经网络的神经形态视觉目标分类系统，包括顺次连接的数据预处理模块、网络构建模块、学习模块和推理模块；
[0011]数据预处理模块，用于获取事件相机异步输出的时空脉冲事件流，所述时空脉冲事件流中的时空脉冲事件采用地址事件表达协议进行描述；用于将所述时空脉冲事件流按照事件相机的时间分辨率dt
′
聚合成事件帧序列，事件帧序列采用张量进行描述；按照设定的时间分辨率dt将时间分辨率为dt
′
的事件帧序列聚合成新的事件帧序列，事件帧数据采用张量进行描述；所述事件帧序列张量数据作为数据预处理模块的输出；
[0012]网络构建模块，由输入加权单元和脉冲神经层单元构成，用于搭建输入加权脉冲神经网络；
[0013]学习模块，根据预处理模块得到的事件帧序列，对网络构建模块得到的输入加权脉冲神经网络进行学习，并生成模型文件；
[0014]推理模块，读取网络构建模块配置的输入加权脉冲神经网络结构，并加载学习模块生成的模型文件来获得输入加权脉冲神经网络参数，得到训练好的输入加权脉冲神经网络模型，并将数据预处理模块输出的若干事件帧作为输入加权脉冲神经网络模型的输入，得到推理结果。
[0015]本专利技术进一步的改进在于，数据预处理模块根据事件相机输出的时空脉冲事件流，按照设定额时间分辨率dt，将脉冲事件流聚合成事件帧序列，具体包括：
[0016]所述时空脉冲事件流由集合E＝{e
i
|e
i
＝[x
i
,y
i
,t
′
i
,p
i
]}确定；其中e
i
为脉冲事件流中的第i 个脉冲事件，(x
i
,y
i
)为第i个脉冲事件的像素坐标，t
′
i
为第i个脉冲事件在整个时间流中的时间戳，p
i
为第i个脉冲事件的光强变化极性；事件相机异步输脉冲事件流的时间分辨率为dt
′
, 空间分辨率为H
×
W；接着，按照设定的时间分辨率dt聚合成新的时空事件帧数据。
[0017]本专利技术进一步的改进在于，数据聚合过程分两步进行，具体包括：
[0018]第一步，基于事件相机的时间分辨率dt
′
，将t
′
时刻产生的若干个事件E
t
′
组装成张量X
t
′
；其中，E
t
′
＝{e
i
|e
i
＝[x
i
,y
i
,t
′
,p
i
]}，X
t
′
∈R
H
×
W
×2；
[0019]第二步，基于设定的时间分辨率dt，利用公式X
t
＝f(X
′
t
)生成t时刻的事件帧张量X
t
∈ R
H
×
W
×2；其中，dt＝β
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于输入加权脉冲神经网络的神经形态视觉目标分类系统，其特征在于，包括顺次连接的数据预处理模块、网络构建模块、学习模块和推理模块；数据预处理模块，用于获取事件相机异步输出的时空脉冲事件流，所述时空脉冲事件流中的时空脉冲事件采用地址事件表达协议进行描述；用于将所述时空脉冲事件流按照事件相机的时间分辨率dt
′
聚合成事件帧序列，事件帧序列采用张量进行描述；按照设定的时间分辨率dt将时间分辨率为dt
′
的事件帧序列聚合成新的事件帧序列，事件帧数据采用张量进行描述；所述事件帧序列张量数据作为数据预处理模块的输出；网络构建模块，由输入加权单元和脉冲神经层单元构成，用于搭建输入加权脉冲神经网络；学习模块，根据预处理模块得到的事件帧序列，对网络构建模块得到的输入加权脉冲神经网络进行学习，并生成模型文件；推理模块，读取网络构建模块配置的输入加权脉冲神经网络结构，并加载学习模块生成的模型文件来获得输入加权脉冲神经网络参数，得到训练好的输入加权脉冲神经网络模型，并将数据预处理模块输出的若干事件帧作为输入加权脉冲神经网络模型的输入，得到推理结果。2.根据权利要求1所述的基于输入加权脉冲神经网络的神经形态视觉目标分类系统，其特征在于，数据预处理模块根据事件相机输出的时空脉冲事件流，按照设定额时间分辨率dt，将脉冲事件流聚合成事件帧序列，具体包括：所述时空脉冲事件流由集合E＝{e
i
|e
i
＝[x
i
，y
i
，t
′
i
，p
i
]}确定；其中e
i
为脉冲事件流中的第i个脉冲事件，(x
i
，y
i
)为第i个脉冲事件的像素坐标，t
′
i
为第i个脉冲事件在整个时间流中的时间戳，p
i
为第i个脉冲事件的光强变化极性；事件相机异步输脉冲事件流的时间分辨率为dt
′
，空间分辨率为H
×
W；接着，按照设定的时间分辨率dt聚合成新的时空事件帧数据。3.根据权利要求2所述的基于输入加权脉冲神经网络的神经形态视觉目标分类系统，其特征在于，数据聚合过程分两步进行，具体包括：第一步，基于事件相机的时间分辨率dt
′
，将t
′
时刻产生的若干个事件E
t
′
组装成张量X
t
′
；其中，E
t
′
＝{e
i
|e
i
＝[x
i
，y
i
，t
′
，p
i
]}，X
t
′
∈R
H
×
W
×2；第二步，基于设定的时间分辨率dt，利用公式X
t
＝f(X
′
t
)生成t时刻的事件帧张量X
t
∈R
H
×

【专利技术属性】
技术研发人员：赵广社，姚满，王鼎衡，刘美兰，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：