【技术实现步骤摘要】
本专利技术属于图像处理检测，具体涉及一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法及系统。
技术介绍
1、在向自动化和智能化迈进的现代社会中，红外目标检测技术在军事、安全监控、智能交通、环境监测等诸多领域发挥着至关重要的作用。红外目标检测是利用目标与背景在红外波段的辐射特性差异，实现目标的自动识别和定位；与传统的可见光检测技术相比，红外检测技术能够在全天候、全天时的条件下进行有效监控，特别是在夜间或能见度低的恶劣环境中，展示出了更强的适应性和优越性。
2、随着人工智能技术的快速发展，尤其是深度学习技术在图像处理领域的广泛应用，红外目标检测算法也得到了显著的进步。传统的基于规则的算法逐渐无法满足高复杂度、高动态变化场景下的需求，而基于深度学习的红外目标检测算法能够通过学习大量数据自动提取特征，从而实现更准确、更快速的目标检测。
3、现有的基于深度学习的目标检测算法(比如yolo、fast-rcnn、detr等)在可见光图片上的检测能力突出，但应用在红外图像上时，由于红外光图片对比度较低、噪声较多，其检测效果大打折扣；原因在于现有的目标检测算法只在单帧图片上进行检测，在单帧红外图像中，待检测目标与背景难以区分。目前有研究使用图像帧序列进行视频中的目标检测，如文献[d. tran, l. bourdev, r. fergus, l. torresani, and m. paluri, “learningspatiotemporal features with 3d convolutional n
4、综上可知，红外图像由于其成像原理的特殊性，通常对比度较低，噪声较多；同时，红外目标的尺寸小、形态各异、与背景的辐射特性相似度高等特点，都给算法的设计和优化带来了诸多困难；此外，在面临极其复杂的场景中检测出低信噪比的运动物体，依赖单帧图像的信息难以达到理想的检测效果。为了克服这些问题，并进一步提高检测精度和鲁棒性，开发新的红外目标检测算法成为本领域研究的热点和趋势。
技术实现思路
1、针对红外场景下单帧图像信息不足、现有视频目标检测算法计算成本高等问题，本专利技术提供了一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法及系统，使用轻量级的特征提取网络、时间编解码结构和时间因子相结合的算法，降低了红外视频目标检测的计算成本，提高了红外视频目标检测的检测精度和鲁棒性。
2、一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，包括如下步骤：
3、（1）获取红外视频并对视频每一帧图像中的目标进行人工标注，同时对图像进行数据增强处理；
4、（2）将红外视频切分为多段连续的图像帧序列并基于随机采样得到的时间因子构建样本，进而将所有样本划分为训练集和测试集；
5、（3）构建基于yolov5和时间编解码结构的红外弱小目标检测模型，其包括：
6、主干提取网络，用于提取图像中的空间信息特征；
7、编码器网络，用于将序列中所有图像的空间信息特征融合在一起，得到具有时序信息的时空特征图；
8、解码器网络，根据时间因子确定时间编码，使其作为时间维度上的偏移作用于时空特征图，从而突出其中一帧图像的特征用以预测目标的位置和类别；
9、（4）利用训练集对上述红外弱小目标检测模型进行训练，以确定最优的模型参数并保存；
10、（5）将测试集样本输入至训练好的模型中，即可检测出其中的红外弱小目标及其位置。
11、进一步地，所述步骤（1）的具体实现方式为：对于红外视频中的每一帧图像，使用labelimage软件对图像中的目标以矩形框的形式进行人工标注并记录矩形框左上角和右下角的位置坐标，进而计算出矩形框归一化后的高、宽以及中心点坐标连同目标的类别(所要检测的红外弱小目标或干扰物)作为图像的标注信息；然后对图像采用基于正态分布的随机噪声数据增强处理，即对图像注入经过随机采样的噪声，以此来模拟复杂背景条件下包含红外弱小目标的检测环境。
12、进一步地，通过以下表达式计算出矩形框归一化后的高、宽以及中心点坐标：
13、；
14、
15、其中：和分别为矩形框左上角和右下角的位置坐标， width和 height分别为图像的宽和高，为矩形框归一化后的中心点坐标， w和 h分别为矩形框归一化后的宽和高。
16、进一步地，所述步骤（2）的具体实现方式如下：
17、2.1 将红外视频切分为多段连续的图像帧序列；
18、2.2 对于任一图像帧序列，从中随机选取一张图像 p，保证图像 p前后均有t-1帧图像，t为设置的图像序列长度；
19、2.3 取图像 p及其之后的t-1帧图像组成图像序列p；
20、2.4 从区间(1, t)中随机采样一个时间因子t(为自然数)，将图像序列p中第t帧图像的标注信息作为样本的真值标签；
21、2.5 将所述真值标签、时间因子t以及图像序列p组成为一个样本，进而将所有样本按比例划分为训练集和测试集。
22、进一步地，所述主干提取网络基于yolov5的轻量化darknet，该darknet使用3d卷积、3d池化和3d批量归一化操作，3d卷积在时间维度的卷积核大小为1，只对图像进行空间信息的提取，不进行时间信息的融合；所述编码器网络使用的3d卷积在时间维度的卷积核大小为3；所述解码器网络有选择性地从时空特征图中突出第t帧图像的特征，对第t帧图像进行目标检测，t为图像序列对应的时间因子。
23、进一步地，所述步骤（4）的具体实现方式如下：
24、4.1 初始化模型参数，包括每一层的偏置向量和权值矩阵、学习率以及优化器；
25、4.2 将训练集样本中图像序列p和时间因子t输入至模型，模型正向传播输出得到对应的预测结果本文档来自技高网...
【技术保护点】
1.一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，包括如下步骤：
2.根据权利要求1所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述步骤（1）的具体实现方式为：对于红外视频中的每一帧图像，使用LabelImage软件对图像中的目标以矩形框的形式进行人工标注并记录矩形框左上角和右下角的位置坐标，进而计算出矩形框归一化后的高、宽以及中心点坐标连同目标的类别作为图像的标注信息；然后对图像采用基于正态分布的随机噪声数据增强处理，即对图像注入经过随机采样的噪声，以此来模拟复杂背景条件下包含红外弱小目标的检测环境。
3.根据权利要求2所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：通过以下表达式计算出矩形框归一化后的高、宽以及中心点坐标：
4.根据权利要求1所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述步骤（2）的具体实现方式如下：
5.根据权利要求1所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方
6.根据权利要求1所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述步骤（4）的具体实现方式如下：
7.一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测系统，其特征在于，包括：
8.一种计算机设备，包括存储器和处理器，其特征在于：所述存储器中存有计算机程序，所述处理器用于执行该计算机程序以实现如权利要求1~6任一权利要求所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法。
9.一种计算机可读存储介质，其存储有计算机程序，其特征在于：所述计算机程序被处理器执行时以实现如权利要求1~6任一权利要求所述的一种基于YOLOv5和时间编解码结构的红外视频弱小目标检测方法。
...【技术特征摘要】
1.一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，包括如下步骤：
2.根据权利要求1所述的一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述步骤（1）的具体实现方式为：对于红外视频中的每一帧图像，使用labelimage软件对图像中的目标以矩形框的形式进行人工标注并记录矩形框左上角和右下角的位置坐标，进而计算出矩形框归一化后的高、宽以及中心点坐标连同目标的类别作为图像的标注信息；然后对图像采用基于正态分布的随机噪声数据增强处理，即对图像注入经过随机采样的噪声，以此来模拟复杂背景条件下包含红外弱小目标的检测环境。
3.根据权利要求2所述的一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：通过以下表达式计算出矩形框归一化后的高、宽以及中心点坐标：
4.根据权利要求1所述的一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述步骤（2）的具体实现方式如下：
5.根据权利要求1所述的一种基于yolov5和时间编解码结构的红外视频弱小目标检测方法，其特征在于：所述主干提取网络基于y...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。