一种弱小目标红外监控跟踪方法技术

本发明专利技术提供了一种弱小目标红外监控跟踪方法，所述方法利用雷达引导获取目标的红外视频流图像，对所述红外视频流图像进行深度学习目标检测和传统图像目标检测，然后使用kcf运动目标跟踪技术，持续跟踪检测目标及目标周围区域，并通过对跟踪到的目标引导目标检测，再通过目标检测的目标引导跟踪，相互配合辅助，完成弱小目标的跟踪检测。本发明专利技术通过优化深度学习检测模型和传统图像检测算法，能够达到20ms/帧的检测速度，结合kcf跟踪能够满足前端弱小目标实时跟踪检测的效果。弱小目标实时跟踪检测的效果。弱小目标实时跟踪检测的效果。

【技术实现步骤摘要】
一种弱小目标红外监控跟踪方法


[0001]本专利技术涉及红外监控跟踪
，具体提供一种弱小目标红外监控跟踪方法。

技术介绍

[0002]在边防领域的红外成像场景中，由于宽范围的监测要求致使目标成像弱小，同时由于弱小目标的快速运动也会引起目标消失、形变或拖影的情况，并且由于背景干扰等情况，致使前端弱小目标的监测跟踪变得异近年来目标跟踪技术的两大主流算法，基于相关滤波器、粒子滤波器和孪生网络的目标跟踪算法对于大中目标的跟踪已经能够达到不错的效果，但是对于前端红外监控实时弱小目标跟踪检测能力还是有限，弱小目标的特征太少，且在红外图像上只表现为高亮点或者低暗点，所占像素数也较少(3*3左右的目标)，因此往往出现检测跟踪失败的情况。
[0003]近年来目标跟踪技术的两大主流算法，基于相关滤波器、粒子滤波器和孪生网络的目标跟踪算法，对于大中目标的跟踪已经能够达到不错的效果，但是对于前端红外监控实时弱小目标跟踪检测能力还是有限。由于弱小目标的特征太少，且在红外图像上只表现为高亮点或者低暗点，所占像素数也较少(3*3左右的目标)，因此往往出现检测跟踪失败的情况。

技术实现思路

[0004]本专利技术利用雷达引导，融合深度学习目标检测和传统图像目标检测，基于kcf运动目标跟踪技术，能够持续跟踪检测目标及目标周围区域，通过跟踪到的目标引导目标检测，再通过目标检测的目标引导跟踪，相互配合辅助，完成弱小目标的跟踪检测；并且通过优化深度学习检测模型和传统图像检测算法，能够达到20ms/帧的检测速度，结合kcf跟踪能够满足前端弱小目标实时跟踪检测的效果。
[0005]本专利技术的技术任务是针对上述存在的问题，提供一种弱小目标红外监控跟踪方法。
[0006]一种弱小目标红外监控跟踪方法，所述方法利用雷达引导获取目标的红外视频流图像，对所述红外视频流图像进行深度学习目标检测和传统图像目标检测，然后使用kcf运动目标跟踪技术，持续跟踪检测目标及目标周围区域，并通过对跟踪到的目标引导目标检测，再通过目标检测的目标引导跟踪，相互配合辅助，完成弱小目标的跟踪检测。
[0007]更进一步的，所述深度学习检测采用yolov7
‑
tiny进行检测，采用实际场景的整幅图像数据进行标注训练，生成全图检测的训练模型，对重大目标进行检测推理。
[0008]更进一步的，所述传统图像检测采用基于MPCM快速实现的图像增强检测技术，对整幅图像进行增强处理提取目标。
[0009]更进一步的，所述跟踪检测过程中采用KCF跟踪算法进行目标更新，所述KCF跟踪算法包括内容如下：
[0010]对当前帧进行跟踪的同时，采用两个局部深度学习检测模型对上一帧目标所在位
置为中心的局部128*128、256*256的局部区域进行目标检测，由于所用芯片有两个NPU，每个NPU上分别进行目标检测推理。
[0011]更进一步的，所述深度学习检测模型是以实际场景中的目标所在位置为初始点，随机向外扩散128*128，256*256的局部图像进行训练得到的局部目标检测模型，这样可以检测到弱小目标，因为弱小目标经常跟踪失败。
[0012]更进一步的，为了加快模型的推理时间，所述方法使用yolov7
‑
tiny进行检测时，采用用下采样4、8、16的特征层进行金字塔连接，输出下采样4，8，16的特征层采样头信息进行弱小目标检测，推理时间能达到7ms/帧的速度。
[0013]通常情况下yolov7
‑
tiny检测使用的是8，16，32的特征层，与采用下采样8，16，32的特征层相比，下采样4、8、16少下降一个采样层，速度会加快，且对小目标的提取会增强。因为下采样的越多小目标在图像上损失的越多。
[0014]更进一步的，所述图像增强检测技术采用MPCM快速图像增强检测技术，同时对256*256的局部区域进行检测，能检测到更小目标。
[0015]更进一步的，所述MPCM快速图像增强检测技术的应用还包括：
[0016]若跟踪到目标，则由跟踪目标与所有检测目标距离最近的检测框更新当前帧的实际目标位置。
[0017]更进一步的，所述MPCM快速图像增强检测技术的应用还包括：
[0018]通过与上一帧目标的距离归一化计算一个置信度，公式如下；
[0019][0020]其中dis表示距离，det
i
表示第i个MPCM检测目标的中心点，i∈(0,n]，preObj为上一帧实际目标的中心点；
[0021]若未跟踪到目标，则挑选与上一帧目标位置最近的、置信度最高的目标作为本帧的实际目标，然后更新当前帧跟踪目标的位置，进行下一帧的kcf跟踪预测。
[0022]更进一步的，所述方法的实现还包括：
[0023]若在当前帧未跟踪到目标，也未检测到目标，对目标丢失进行帧数累加，并把上一帧目标所在位置作为当前帧目标的位置(弱小目标容易形变暂时性丢失)；
[0024]如果丢失帧数累加达到一个阈值LossTh(这里设置为8)，或者交互选取跟踪结束，则完成跟踪自动保存目标的跟踪视频，跟踪结束。
[0025]与现有技术相比，本专利技术一种弱小目标红外监控跟踪方法具有以下突出的有益效果：
[0026]本专利技术通过优化深度学习检测模型和传统图像检测算法，能够达到20ms/帧的检测速度，结合kcf跟踪能够满足前端弱小目标实时跟踪检测的效果。
附图说明
[0027]图1是利用本专利技术跟踪系统流程图；
[0028]图2是本专利技术yolov7
‑
tiny的加速网络结构。
具体实施方式
[0029]下面将结合附图和实施例，对本专利技术作进一步详细说明。
[0030](1)雷达引导光电设备转向目标方向；
[0031](2)拉取红外视频流图像，对首帧图像进行深度学习检测和传统图像检测；
[0032](2.1)深度学习检测采用yolov7
‑
tiny进行检测，采用实际场景的整幅图像数据进行标注训练，生成全图检测的训练模型，对中大目标进行检测推理；
[0033](2.2)传统图像检测采用基于MPCM快速实现的图像增强检测技术，对整幅图像进行增强处理提取目标；
[0034](2.3)将(2.1)和(2.2)得到的目标进行nms处理，显示所有可能目标框；
[0035](2.4)通过界面交互手动选取需要跟踪的目标，或者通过点击屏幕，选取与点击点最近的目标框进行跟踪；
[0036](3)跟踪过程中采用KCF跟踪算法进行目标更新；
[0037](3.1)对当前帧进行跟踪的同时，采用两个局部深度学习检测模型对上一帧目标所在位置为中心的局部128*128、256*256的局部区域进行目标检测，由与所用芯片有两个NPU，每个NPU上分别进行目标检测推理；
[0038](3.2)其中(2.1)的局部目标检测模型是由实际场景中的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱小目标红外监控跟踪方法，其特征在于，所述方法利用雷达引导获取目标的红外视频流图像，对所述红外视频流图像进行深度学习目标检测和传统图像目标检测，经过nms处理，得到所有可能目标框，然后使用kcf运动目标跟踪技术，持续跟踪检测目标及目标周围区域，并通过对跟踪到的目标引导目标检测，再通过目标检测的目标引导跟踪，相互配合辅助，完成弱小目标的跟踪检测。2.根据权利要求1所述的一种弱小目标红外监控跟踪方法，其特征在于，所述深度学习检测采用yolov7
‑
tiny进行检测，采用实际场景的整幅图像数据进行标注训练，生成全图检测的训练模型，对重大目标进行检测推理。3.根据权利要求1或2所述的的一种弱小目标红外监控跟踪方法，其特征在于，所述传统图像检测采用基于MPCM快速实现的图像增强检测技术，对整幅图像进行增强处理提取目标。4.根据权利要求3所述的一种弱小目标红外监控跟踪方法法，其特征在于，所述跟踪检测过程中采用KCF跟踪算法进行目标更新，所述KCF跟踪算法包括内容如下：对当前帧进行跟踪的同时，采用两个局部深度学习检测模型对上一帧目标所在位置为中心的局部128*128、256*256的局部区域进行目标检测，每个NPU上分别进行目标检测推理。5.根据权利要求4所述的一种弱小目标红外监控跟踪方法，其特征在于，所述深度学习检测模型是以实际场景中的目标所在位置为初始点，随机向外扩散128*128，256*256的局部图像进行训练得到的局部目标检测模型。6.根据权利要求5所述的一种弱小目标红外监控跟踪方法，其特征在于，所述...

【专利技术属性】
技术研发人员：于李涛，
申请(专利权)人：山东中微星辰电子科技有限公司，
类型：发明
国别省市：