【技术实现步骤摘要】
本专利技术属于计算机视觉目标跟踪，涉及一种基于深度脉冲神经网络的高帧率目标跟踪方法。
技术介绍
1、在复杂战场环境下的高帧率目标跟踪识别系统，在军事领域有着非常广泛的应用。得益于信息时代下日渐兴起的、基于大数据的机器学习的技术支持，在军事上，智能化高帧率目标跟踪技术已成为现阶段和未来武器系统的重要组成部分。因此，对智能化高帧率目标跟踪进行理论和应用研究，具有重大的理论和实际意义。
2、目标跟踪任务是计算机视觉领域的一个重要分支，目标跟踪需要在输入的视频中框选出目标的位置，并连续的对其进行跟踪。目标跟踪相比于目标检测更加复杂，目标跟踪需要在视频的多帧中对指定目标进行跟踪，因此需要提取出视频中的帧间信息。目标跟踪的主要困难来自复杂多变的场景以及快速变化的目标，例如目标的变形移动或是旋转、目标快速移动导致的摄影模糊、光照条件变化导致的色彩变化、目标的遮挡及重现等，因此相关滤波和深度学习等方法被广泛使用来解决目标跟踪面临的诸多问题，但现有技术仍存在复杂环境下高帧率目标识别网络能耗高、效率低的问题。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提出一种基于深度脉冲神经网络的高帧率目标跟踪方法，实现快速高效的嵌入式、低功耗平台下的目标跟踪，有效解决复杂环境下高帧率目标识别网络能耗高、效率低的问题，提供新型探测技术的可行解决方案。
2、本专利技术解决技术的方案是：提出一种基于深度脉冲神经网络的高帧率目标跟踪方法，包括以下步骤：
3、将给定
4、将得到的所有正事件帧ep和负事件帧en输入yolo神经网络进行空间特征提取，输出每帧图像中所有目标的位置信息和类别信息，组成空间特征；
5、将得到的所有正事件帧ep和负事件帧en按照时间顺序输入脉冲卷积神经网络进行时序特征提取，输出与跟踪目标相关的时序信息；
6、构建目标跟踪网络，包括时空特征融合模块、分类器和回归器，时空特征融合模块对所述空间特征和所述时序信息进行时空特征融合后输出到分类器和回归器，分别经过回归计算和分类计算后，输出不同时刻下跟踪目标的位置和类别。
7、进一步的，所述yolo神经网络采用二值化量化的yolov3-tiny神经网络，网络结构由24个网络层组成，包括13个卷积层、6个池化层、2个yolo预测层、2个特征融合层和1个上采样层；
8、yolo神经网络以图像作为输入，网络的第一部分由5个卷积层和4个池化层交替堆叠组成，然后分为两条分支，第一条分支由5个卷积层和2个池化层交替堆叠组成，得到浅层特征；另一条分支通过1个特征融合层得到深层特征，所述深层特征经过1个卷积层和1个上采样层后与第一条分支的浅层特征经过另一个特征融合层进行融合，然后利用2个卷积层提取特征；在两条分支的最后各有1个yolo预测层来计算并输出跟踪目标的位置和类别；
9、通过训练得到能够使用的yolo模型后，对模型的权重参数进行二值化操作，设置权重阈值，将权重参数大于权重阈值的设置为1，小于权重阈值的设置为-1。
10、进一步的，所述yolo神经网络进行空间特征提取，包括：
11、对输入图像和中间特征进行二值化卷积计算，所述中间特征代表所有经过卷积池化后得到的特征图；
12、对中间特征进行二值化激活值量化计算；
13、计算预测目标位置的边界框的坐标值得到目标的位置信息，计算边界框的类别概率得到目标的类别信息。
14、进一步的，所述对输入图像和中间特征进行二值化卷积计算，具体为：
15、将原始的卷积核权重矩阵进行二值化，将原始的浮点数权重转换为二值权重；
16、将原始的卷积操作拆分为9组二值化卷积操作，同时进行计算；
17、对9组二值化卷积操作的输出特征图进行融合，作为最终的卷积结果。
18、进一步的，所述脉冲卷积神经网络包括3个卷积-脉冲层，其中每个卷积-脉冲层包括一个卷积层和一个基于lif模型的脉冲层，卷积层将脉冲转换为膜电位，作为输入传递给脉冲层。
19、进一步的，所述脉冲卷积神经网络进行时序特征提取，包括：
20、s301、卷积层将正事件帧ep和负事件帧en中激活事件的峰值转换为膜电位；其中，第l个卷积层神经元在时间t时的膜电位vt,l表示为：
21、vt,l＝ht-1,l+c(zt,l-1),
22、zt,l＝f(vt,l-vth),
23、ht,l＝(αvt,l)(1-zt,l),
24、
25、其中f(·)是heaviside阶跃函数；vth为膜电位阈值；α为神经元的渗漏因子；∨是逐元素的or运算符；c表示卷积层，其核大小为k×k；zt,l是时间t时第l层神经元的动作电位；ht,l是时间t时神经元的累积膜电压；是时间t时的正事件帧；是时间t时的正负件帧；
26、s302、在最后一个时间n处，计算最后一个卷积-脉冲层中每一个时间步对应的膜电位的求和平均值作为时间特征ft；
27、
28、其中，ψ是一个由批归一化和一个relu激活函数组成的算子，c1是第l个卷积层；
29、s303、对卷积层进行通道级量化，提取卷积层中的参数逐通道最大最小值，并使用最大最小值量化方法将各通道参数从32位浮点型量化为8比特或2比特整型。
30、进一步的，所述时空特征融合模块包括时序注意力模块、跨域积分器和空间注意力模块。
31、进一步的，所述输出不同时刻下跟踪目标的位置和类别，包括：
32、s401、时序注意力模块根据输入的时序信息生成时序注意力特征，所述时序注意力特征为利用自注意力机制计算得到的特征；
33、s402、跨域积分器将时序注意力特征和空间特征作为输入，利用自注意力机制对时序注意力特征进行优化，然后空间特征和优化后的时序注意力特征逐元素相加，得到融合后的空间特征fg′如下：
34、fg′＝χft′+fg,χ＝σ(m(a([fg,ft′])))
35、其中，fg为输入的空间特征；ft′为优化后的时序注意力特征；m是一个三层感知器算子，具有一个线性输入层、一个relu激活函数和一个线性输出层；a代表自适应平均池化；χ是融合过程的中间特征矩阵；σ是sigmoid函数；
36、s403、空间注意力模块将融合后的空间特征fg′作为输入，利用自注意力机制进一步增强空间特征的区分性，输出增强后的空间特征，将增强后的空间特征输入分类器和回归器，分别进行分类和回归计算，输出不同时刻下跟踪目标的位置和类别本文档来自技高网...
【技术保护点】
1.一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述YOLO神经网络采用二值化量化的YOLOv3-Tiny神经网络，网络结构由24个网络层组成，包括13个卷积层、6个池化层、2个yolo预测层、2个特征融合层和1个上采样层；
3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述YOLO神经网络进行空间特征提取，包括：
4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述对输入图像和中间特征进行二值化卷积计算，具体为：
5.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述脉冲卷积神经网络包括3个卷积-脉冲层，其中每个卷积-脉冲层包括一个卷积层和一个基于LIF模型的脉冲层，卷积层将脉冲转换为膜电位，作为输入传递给脉冲层。
6.根据权利要求5所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述脉冲卷积
7.根据权利要求6所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述时空特征融合模块包括时序注意力模块、跨域积分器和空间注意力模块。
8.根据权利要求7所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述输出不同时刻下跟踪目标的位置和类别，包括：
9.根据权利要求6所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述脉冲卷积神经网络还包括压缩模块，用于进行张量分解与量化压缩；
10.根据权利要求9所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述将脉冲卷积神经网络中的特征值和权重转变为张量形式并对张量进行分解，具体为：
...【技术特征摘要】
1.一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述yolo神经网络采用二值化量化的yolov3-tiny神经网络，网络结构由24个网络层组成，包括13个卷积层、6个池化层、2个yolo预测层、2个特征融合层和1个上采样层；
3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述yolo神经网络进行空间特征提取，包括：
4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述对输入图像和中间特征进行二值化卷积计算，具体为：
5.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标跟踪方法，其特征在于，所述脉冲卷积神经网络包括3个卷积-脉冲层，其中每个卷积-脉冲层包括一个卷积层和一个基于lif模型的脉冲...
【专利技术属性】
技术研发人员：钮赛赛，邵艳明，周卫文，席永辉，谭覃燕，方缤猗，甄沛宁，陈海宝，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。