基于脉冲信号的神经网络及脉冲信号处理方法技术

本申请提供一种基于脉冲信号的神经网络及脉冲信号处理方法，该神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，输出端卷积层分别与非输出端卷积层单元和YOLO层连接，非输出端卷积层单元包括M个依次连接的非输出端卷积层。非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。输出端卷积层用于对非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；YOLO层用于对输出端卷积层输出的卷积值进行处理，得到图像信息，并输出图像信息。本申请可以提高提高脉冲神经网络进行数据处理的速度，提高脉冲相机显示图片的速度。提高脉冲相机显示图片的速度。提高脉冲相机显示图片的速度。

【技术实现步骤摘要】
基于脉冲信号的神经网络及脉冲信号处理方法


[0001]本申请涉及脉冲相机图像处理技术，尤其涉及一种基于脉冲信号的神经网络及脉冲信号处理方法。

技术介绍

[0002]近年来，脉冲相机由于可以很好捕捉场景中的高速运动，而被广泛应用在自主驾驶和智能视频分析中。脉冲相机的工作原理是感应光强度的变化生成脉冲信号，由脉冲相机的芯片上设置的脉冲神经网络对脉冲信号进行处理，以输出图像信息。
[0003]脉冲神经网络的性能没有卷积神经网络好，为了提高脉冲神经网络的性能，研发人员开发了Spiking
‑
YOLO神经网络(Spiking Neural Network for Energy
‑
Efficient Object Detection)，Spiking
‑
YOLO神经网络与卷积神经网络相当的性能，而且能耗极低。
[0004]但是脉冲相机采样的频率很高，导致脉冲相机需要处理的数据过多，而Spiking
‑
YOLO神经网络处理大量数据时存在速度慢的问题，这就导致脉冲相机显示图片的速度过慢的问题。因此，如何对Spiking
‑
YOLO神经网络进行改进，以提高Spiking
‑
YOLO神经网络进行数据处理的速度，提高脉冲相机显示图片的速度，仍然是亟待解决的问题。

技术实现思路

[0005]本申请提供一种基于脉冲信号的神经网络及脉冲信号处理方法，用以提高脉冲神经网络进行数据处理的速度，提高脉冲相机显示图片的速度。
[0006]一方面，一种基于脉冲信号的神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为大于1的自然数；
[0007]所述非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理，所述第1个非输出端卷积层用于对信号采集设备根据时空信号生成的脉冲信号进行处理，所述N为大于或等于1的自然数，所述N小于或等于M，每个非输出端卷积层对应各自的膜电压；
[0008]所述输出端卷积层用于对所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；
[0009]所述YOLO层用于对所述输出端卷积层输出的卷积值进行处理，得到图像信息，并输出所述图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
[0010]其中一个可选的实施例中，
[0011]若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
[0012]若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
[0013]所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking
‑
YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
[0014]所述第二电压为所述非输出端卷积层对应的膜电压。
[0015]其中一个可选的实施例中，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述非输出端卷积层还用于：
[0016]根据所述累加值与所述电压阈值的差值，获取第三电压；
[0017]根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
[0018]其中一个可选的实施例中，所述神经网络为Spiking
‑
YOLO神经网络，所述Spiking
‑
YOLO神经网络中非输出端卷积层和输出端卷积层的步长为1或2。
[0019]另一方面，本申请提供一种脉冲信号处理方法，应用于基于脉冲信号的神经网络，所述神经网络为Spiking
‑
YOLO神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述方法包括：
[0020]获取信号采集设备根据时空信号生成的脉冲信号；
[0021]将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；
[0022]将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进行处理后得到的脉冲信号的卷积值；
[0023]将所述输出端卷积层输出的卷积值输入至所述YOLO层，得到所述YOLO层输出的图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
[0024]其中一个可选的实施例中，所述方法包括：
[0025]若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
[0026]若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
[0027]所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking
‑
YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
[0028]所述第二电压为所述非输出端卷积层对应的膜电压。
[0029]其中一个可选的实施例中，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述方法还包括：
[0030]根据所述累加值与所述电压阈值的差值，获取第三电压；
[0031]根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
[0032]另一方面，本申请提供一种脉冲信号处理装置，应用于基于脉冲信号的神经网络，
所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述装置包括：
[0033]获取模块，用于获取信号采集设备根据时空信号生成的脉冲信号；
[0034]处理模块，用于将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的进行处理，所述N为大于或等于1的自然数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲信号的神经网络，其特征在于，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为大于1的自然数；所述非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理，所述第1个非输出端卷积层用于对信号采集设备根据时空信号生成的脉冲信号进行处理，所述N为大于或等于1的自然数，所述N小于或等于M，每个非输出端卷积层对应各自的膜电压；所述输出端卷积层用于对所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；所述YOLO层用于对所述输出端卷积层输出的卷积值进行处理，得到图像信息，并输出所述图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。2.根据权利要求1所述的神经网络，其特征在于，若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking
‑
YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；所述第二电压为所述非输出端卷积层对应的膜电压。3.根据权利要求2所述的神经网络，其特征在于，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述非输出端卷积层还用于：根据所述累加值与所述电压阈值的差值，获取第三电压；根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。4.根据权利要求1
‑
3任一项所述的神经网络，其特征在于，所述神经网络为Spiking
‑
YOLO神经网络，所述Spiking
‑
YOLO神经网络中非输出端卷积层和输出端卷积层的步长为1或2。5.一种脉冲信号处理方法，其特征在于，应用于基于脉冲信号的神经网络，所述神经网络为Spiking
‑
YOLO神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述方法包括：获取信号采集设备根据时空信号生成的脉冲信号；将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进...

【专利技术属性】
技术研发人员：吴伟建，李晓强，高正杨，
申请(专利权)人：脉冲视觉北京科技有限公司，
类型：发明
国别省市：