一种基于深度脉冲神经网络的高帧率目标跟踪方法技术

本发明专利技术涉及一种基于深度脉冲神经网络的高帧率目标跟踪方法，将给定一段时间内的嵌入式平台目标事件分割成一个n‑bin体素网格，生成正事件帧和负事件帧；将正事件帧和负事件帧输入YOLO神经网络进行空间特征提取，输出每帧图像中所有目标的位置信息和类别信息，组成空间特征；将正事件帧和负事件帧按照时间顺序输入脉冲卷积神经网络进行时序特征提取，输出与跟踪目标相关的时序信息；构建目标跟踪网络，对空间特征和时序信息进行时空特征融合后分别经过回归计算和分类计算，输出不同时刻下跟踪目标的位置和类别。本发明专利技术实现快速高效的嵌入式、低功耗平台下的目标跟踪，有效解决了复杂环境下高帧率目标识别网络能耗高、效率低的问题。

【技术实现步骤摘要】

本专利技术属于计算机视觉目标跟踪，涉及一种基于深度脉冲神经网络的高帧率目标跟踪方法。

技术介绍

1、在复杂战场环境下的高帧率目标跟踪识别系统，在军事领域有着非常广泛的应用。得益于信息时代下日渐兴起的、基于大数据的机器学习的技术支持，在军事上，智能化高帧率目标跟踪技术已成为现阶段和未来武器系统的重要组成部分。因此，对智能化高帧率目标跟踪进行理论和应用研究，具有重大的理论和实际意义。

2、目标跟踪任务是计算机视觉领域的一个重要分支，目标跟踪需要在输入的视频中框选出目标的位置，并连续的对其进行跟踪。目标跟踪相比于目标检测更加复杂，目标跟踪需要在视频的多帧中对指定目标进行跟踪，因此需要提取出视频中的帧间信息。目标跟踪的主要困难来自复杂多变的场景以及快速变化的目标，例如目标的变形移动或是旋转、目标快速移动导致的摄影模糊、光照条件变化导致的色彩变化、目标的遮挡及重现等，因此相关滤波和深度学习等方法被广泛使用来解决目标跟踪面临的诸多问题，但现有技术仍存在复杂环境下高帧率目标识别网络能耗高、效率低的问题。

技术实现思路...

【技术保护点】

1.一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述YOLO神经网络采用二值化量化的YOLOv3-Tiny神经网络，网络结构由24个网络层组成，包括13个卷积层、6个池化层、2个yolo预测层、2个特征融合层和1个上采样层；

3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述YOLO神经网络进行空间特征提取，包括：

4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述对输入...

【技术特征摘要】

1.一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述yolo神经网络采用二值化量化的yolov3-tiny神经网络，网络结构由24个网络层组成，包括13个卷积层、6个池化层、2个yolo预测层、2个特征融合层和1个上采样层；

3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述yolo神经网络进行空间特征提取，包括：

4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述对输入图像和中间特征进行二值化卷积计算，具体为：

5.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述脉冲卷积神经网络包括3个卷积-脉冲层，其中每个卷积-脉冲层包括一个卷积层和一个基于lif模型的脉冲...

【专利技术属性】
技术研发人员：钮赛赛，邵艳明，周卫文，席永辉，谭覃燕，方缤猗，甄沛宁，陈海宝，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：