【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及一种基于深度脉冲神经网络的高帧率目标检测方法。
技术介绍
1、在复杂战场环境下的高帧率目标检测识别系统，在军事领域有着非常广泛的应用，如遥感探测、航空航天、目标监视等。得益于信息时代下日渐兴起的、基于大数据的机器学习的技术支持，在军事上，智能化、高帧率目标检测系统已成为现阶段和未来武器系统的重要组成部分，是武器系统变得更加具有精确性和智能化的一个重要指标，也是高分辨率成像探测设备中的一种关键技术。因此，对智能化高帧率目标检测进行理论和应用研究，具有重大的理论和实际意义。
2、当前应用于高帧率目标检测领域二阶段的rcnn模型、fast r-cnn模型、faster r-cnn模型和一阶段的yolo模型、ssd模型等均在检测精度或是检测速度上有着良好的表现，但面临的挑战在于网络模型的计算复杂度过高、计算开销过大、小尺度目标检测的准确率较低，因此寻找一种降低网络计算开销、提升网络运行效率、降低网络能源消耗的方法很有必要。
3、结合脉冲神经网络及网络模型的压缩、加速方法可以有效解决上述困扰型号已久的问题。并且，本专利技术具备低功耗、轻量化的特点，可以很好地满足在移动端、嵌入式应用条件下完成高帧率目标检测的需求，提高了高帧率目标检测应用场景的普适性。因此有必要开展基于脉冲神经网络与网络压缩、加速技术的高帧率目标检测系统设计及其核心算法的研发。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提出一种基于深度脉冲神经网络的
2、本专利技术解决技术的方案是：提出一种基于深度脉冲神经网络的高帧率目标检测方法，包括以下步骤：
3、s1、通过dnn转换snn的方式，由yolov3-tiny神经网络模型转换得到脉冲神经网络；
4、s2、使用通道归一化方法，在脉冲神经网络每层的通道维度上，通过最大激活值对权值及偏置进行归一化处理，输出归一化后的权值及偏置；
5、s3、对通道归一化处理后的脉冲神经网络，使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，选择脉冲神经网络中需要被激活的神经元；
6、s4、基于stdp的无监督学习训练方法，对步骤s3优化后的脉冲神经网络进行训练，得到高帧率目标检测模型；
7、s5、对高帧率目标检测模型进行张量分解与量化压缩，得到轻量化的高帧率目标检测模型；
8、s6、将待检测的图像输入轻量化的高帧率目标检测模型，输出图像中目标的类别和目标边界位置坐标。
9、进一步的，步骤s1所述脉冲神经网络的结构包括13个侧抑制层、6个池化层、2个预测层、2个特征融合层和1个上采样层，激活函数采用leaky integrate-and-fire激活函数；
10、脉冲神经网络以视频帧图像作为输入，脉冲神经网络的第一部分由5个侧抑制层和4个池化层交替堆叠组成，视频帧图像输入到脉冲神经网络第一部分的第一个侧抑制层；然后网络结构分为两条分支，第一条分支由5个侧抑制层和2个池化层交替堆叠组成，得到浅层特征；另一条分支通过1个特征融合层得到深层特征，所述深层特征经过1个侧抑制层和1个上采样层后与第一条分支的浅层特征通过另一个特征融合层进行融合，然后利用2个侧抑制层提取特征；在两条分支的最后各有1个预测层来计算并输出检测目标的位置和类别。
11、进一步的，步骤s2所述通道归一化方法，具体为：
12、当前层的权值乘以上一层的最大激活值，同时除以当前层的最大激活值，得到当前层经通道归一化的权重：
13、
14、当前层的偏置除以当前层的最大激活值，得到当前层经通道归一化的偏置：
15、
16、其中，i和j为维度下标，l表示网络层数，表示第l层、i和j维的权值，表示第l层、j维的偏置，表示第l-1层、i维的最大激活值，表示第l层、j维的最大激活值，表示第l层、i和j维归一化后的权值，表示第l层、j维归一化后的偏置。
17、进一步的，步骤s3所述使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，具体为：
18、设置神经元正激活阈值与负激活阈值，分别为vth与膜电压超过正激活阈值的神经元为正激活状态，激活值设置为1；膜电压低于负激活阈值的神经元为负激活状态，激活值设置-1；不处于激活状态的神经元，激活值设置为0。
19、进一步的，步骤s3所述选择脉冲神经网络中需要被激活的神经元，具体为：
20、
21、其中，vmem表示膜电压，vth，pos表示正值区域临界电压，大小为vth，vth，neg表示负值区域临界电压，大小为α为正值；1表示神经元处于正激活状态时的激活值，-1表示神经元处于负激活状态时的激活值，0表示神经元尚未处于激活状态。
22、进一步的，步骤s5所述对高帧率目标检测模型进行张量分解与量化压缩，具体为：
23、所述张量分解：将高帧率目标检测模型的特征值和权重转变为张量形式并对张量进行分解，使用分解后的多个子张量的乘积近似代替原有权重；
24、所述量化压缩：将分解后的子张量中的元素从浮点数转换为固定精度的整数，对量化后的整数值以更紧凑的格式编码并进行存储。
25、进一步的，所述将脉冲神经网络中的特征值和权重转变为张量形式并对张量进行分解，具体为：
26、s501、对高帧率目标检测模型参数矩阵进行张量化表示，得到用高维张量表示的模型参数和输入特征；
27、s502、对张量化表示的高帧率目标检测模型进行张量链式分解，得到用低阶张量序列表示的参数张量化分解形式；
28、s503、利用张量链式分解后的高帧率目标检测模型进行推理计算，得到运用张量分解时的目标检测结果。
29、进一步的，s501所述用高维张量表示的模型参数和输入特征，包括：
30、给定权重参数矩阵w，通过矩阵分解和形变操作将w张量化表示为d维的张量给定输入特征x，同样通过矩阵分解和形变操作将x张量化表示为d维的张量特征
31、s502所述用低阶张量序列表示的参数张量化分解形式，包括：
32、给定张量化表示的d维张量参数使用d个张量核的集合进行分解和表示，其中lk代表每一维度张量的大小，r表示分解秩，为分解后矩阵的维度大小，k∈[1，d]；中每一个元素均通过如下方式重建：
33、
34、其中pk表示矩阵中某一维度切片的序号，pk∈[1，lk]；
35、s503所述运用张量分解时的目标检测结果，具体为：
36、
37、其中，是目标检测计算输出，到是4维张量核，是张量化特征，是张量化偏置，i和j是多维张量中维度的序号，且ik×jk＝pk。
38、进一步的，所述量化压缩，具体为：
39、通过逐次渐进低比特量本文档来自技高网...
【技术保护点】
1.一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤S1所述脉冲神经网络的结构包括13个侧抑制层、6个池化层、2个预测层、2个特征融合层和1个上采样层，激活函数采用Leaky Integrate-and-Fire激活函数；
3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤S2所述通道归一化方法，具体为：
4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤S3所述使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，具体为：
5.根据权利要求4所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤S3所述选择脉冲神经网络中需要被激活的神经元，具体为：
6.根据权利要求5所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤S5所述对高帧率目标检测模型进行张量分解与量化压缩，具体为：
7.根据权利要
8.根据权利要求7所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，S501所述用高维张量表示的模型参数和输入特征，包括：
9.根据权利要求7所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，所述量化压缩，具体为：
10.一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现如权利要求1～权利要求9任一所述方法的步骤。
...【技术特征摘要】
1.一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤s1所述脉冲神经网络的结构包括13个侧抑制层、6个池化层、2个预测层、2个特征融合层和1个上采样层，激活函数采用leaky integrate-and-fire激活函数；
3.根据权利要求2所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤s2所述通道归一化方法，具体为：
4.根据权利要求3所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤s3所述使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，具体为：
5.根据权利要求4所述的一种基于深度脉冲神经网络的高帧率目标检测方法，其特征在于，步骤s3所述选择脉冲神经网络中需要被激活的...
【专利技术属性】
技术研发人员：邵艳明，钮赛赛，龙华保，周卫文，王梦如，董昊炎，甄沛宁，陈海宝，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。