一种基于红外小样本扩增与YOLOv5的红外弱小目标检测方法技术

本发明专利技术公开了一种基于红外小样本扩增与YOLOv5的红外弱小目标检测方法，针对现有技术中红外弱小目标检测效率仍须改善的问题。该发明专利技术含有以下步骤，1、生成对抗网络；2、对训练集图像进行标注；3、采用迁移学习的方法，加入已有数据集的预训练权重文件训练自己的数据集；4、定义损失函数loss；5、加入自注意力机制，引入CBAM模块；6、训练数据集，将训练结果正确绘制在原始图像上；7、将训练数据集的结果正确绘制在原始图像上并分割预测的图像，将红外图像测试数据集输入训练好的模型中，输出红外图像测试数据集目标预测边界框。该技术在预测阶段分割预测图像，使得在执行卷积操作时能够更加关注图像中的目标信息。关注图像中的目标信息。关注图像中的目标信息。

【技术实现步骤摘要】
一种基于红外小样本扩增与YOLOv5的红外弱小目标检测方法


[0001]本专利技术涉及图像目标技术检测领域，特别是涉及一种基于红外小样本扩增与YOLOv5的红外弱小目标检测方法。

技术介绍

[0002]高于热力学零度的物体都会向外辐射红外线，其中红外线穿透云雾的能力比较强，受光照强度的影响很小，在白天和夜晚都可以实现很好的目标检测效果。但是红外图像的对比度比较低、纹理特征比较弱、受到的干扰比较多，检测目标在海上云雾相似背景的影响之下，会成为弱小目标，一般的目标识别算法很难适用于弱小目标检测。随着深度学习技术的发展,LeCun证明随机梯度下降通过反向传播可以训练卷积神经网络，这一结论大大加速了卷积神经网络在目标检测领域上的应用。Ross Girshick的R
–
CNN模型第一次将卷积神经网络运用到目标检测领域,其两阶段进行检测识别的思想也深刻影响了后来的Fast R
–
CNN算法与Faster R
–
CNN算法。针对两阶段目标检测算法存在的运行速度较慢和难以实现工程化等问题，YOLO算法和SSD算法先后被提出，它们将目标检测任务视为一个回归问题，在不影响检测精度的同时大幅度地提高了检测速度。
[0003]注意力机制是人类视觉系统固有的一种筛选图像信息和聚焦显著物体的信息处理机制，深度学习中注意力机制借鉴了人类的视觉注意力思维方式。人类可以通过快速浏览整体图像，迅速寻找出需要重点关注的区域，从而抑制次要信息对整体的影响，极大地提高了视觉信息处理的效率与准确性。深度卷积神经网络在经过多层卷积处理后将产生大量的高维特征图，这些由各层网络生成的特征图包含输入图像的各种纹理、特征、形态等信息。Jie Hu的SE模型将这些饱含信息的特征图在传递给更深层网络前赋予不同的权值。Sanghyun的CBAM模型通过并行的特征信息编码将特征图赋予相应的权值。上述模型都能在增加相应计算量的前提下，使最终深度网络模型的输出更多地受到包含关键区域特征图的影响。
[0004]生成对抗网络(generative adversarial network，GAN)旨在生成不存在于真实世界的数据,在传统图像仿真领域,图像的仿真需经过建模、添加纹理和光照、渲染等一系列复杂的步骤。GAN网络的出现简化了这一过程，其利用深度神经网络模型构建生成器和判别器，生成器负责生成伪样本，而判别器用于分辨样本的真伪，生成器和判别器之间采用对抗博弈的方法自动学习样本数据的真实分布，从而实现图像的样本扩增。在动态博弈的过程中，GAN网络的生成器和判别器取样于随机噪声。这样生成的伪样本状态并不可控，即生成的红外域样本图像的具体内容并不受用户控制。此外，由随机噪声生成的伪样本还存在图像边缘不清晰、细节模糊等问题。

技术实现思路

[0005]本专利技术针对现有技术中红外弱小目标检测效率仍须改善的问题，提供一种检测精度高、检测速度快的基于红外小样本扩增与YOLOv5的红外弱小目标检测方法。
[0006]本专利技术的技术解决方案是，提供一种具有以下步骤的基于红外小样本扩增与YOLOv5的红外弱小目标检测方法：含有以下步骤，
[0007]步骤1：生成对抗网络；
[0008]步骤2：训练集图像采用labelimg工具进行标注；
[0009]步骤3：采用迁移学习的方法，加入已有数据集的预训练权重文件训练自己的数据集；
[0010]步骤4：定义损失函数loss：
[0011]步骤5：加入自注意力机制，引入CBAM模块；
[0012]步骤6：准备工作完成开始训练数据集，将训练结果正确绘制在原始图像上；
[0013]步骤7：将训练数据集的结果正确绘制在原始图像上并分割预测的图像，将红外图像测试数据集输入训练好的模型中，输出红外图像测试数据集目标预测边界框。
[0014]优选地，所述步骤1中含有以下步骤，
[0015]步骤1.1：生成对抗网络，采用未成对样本数据训练网络模型，给网络增加限制条件使得网络学习高维数据间的映射关系；将可见光域的图像转换为红外域的图像；
[0016]步骤1.1.1：采用2个判别器和2个生成器构成循环的网络结构，2个生成器对可见光域和红外域的图像进行相互转换，2个判别器分别判别红外域和可见光红外域图像的真伪；
[0017]步骤1.1.2：可见光域图像经过生成器后生成一幅红外域上的伪样本图像，网络模型在训练的过程中不断优化目标损失函数，学习到高维数据的特征分布，构建出可见光域至红外域的映射关系；
[0018]步骤1.2：通过将2个单向的生成对抗网络耦合成一个环状网络结构，构建可见光域至红外域的映射关系，加入重构损失函数后，生成对抗网络在训练的过程中给生成伪样本的生成器添加强制性约束，即真实样本与通过连续的生成器所生成的伪样本间的差异应尽可能的小；
[0019]步骤1.3：将注意力机制模型添加至生成对抗网络的生成器网络结构中；
[0020]步骤1.3.1：网络模型是对称的结构，分别学习变换函数，实现两个数据域之间的映射，在Loss设计时提出循环一致性损失，在注意力机制的网络结构中，注意力模块生成注意力掩码，然后将注意力掩码与输入图像进行融合，通过网络训练得到高质量的生成样本，生成器不仅要生成样本，还要生成注意力掩码，然后通过Loss函数的设计以及网络生成器和判别器的博弈，网络的注意力将关注在目标上并生成质量比较好的样本；
[0021]步骤1.3.2：生成器中注意力机制模型将输入的特征图经过全局平均池化和全局最大池化操作得到依托通道数的特征向量，将特征向量经过全连接层、拼接处理后送入分类器做源域和目标域的分类，反向传播学习到特征图对应的权值，最后，特征图对应的权值和特征图进行位乘得到经过注意力机制增强的特征图，使生成器着重于可见光域图像的关键区域信息以实现红外风格迁移。
[0022]优选地，所述步骤2含有以下步骤：
[0023]步骤2.1、训练集图像采用labelimg工具进行标注，对需要标注的图像打好标签后进行保存；
[0024]步骤2.2、采用红外弱小目标数据集分辨率为1920
×
1080像素的红外弱小目标图
像；
[0025]步骤2.3、使用不同复杂背景下的数据进行实验，训练集、验证集、测试集划分比例为7：2：1。
[0026]优选地，所述步骤3含有以下步骤：
[0027]采用已有的FLIR红外数据集的预训练模型，采用红外弱小目标数据集分辨率为1920
×
1080像素的红外弱小目标图像；通过冻结网络层行迁移训练实现在新模型上快速进行重新训练，YOLOv5所有层的冻结通过设置其梯度为零来实现，执行train文件，在yaml文件中查看网络层，通过freeze冻结头部进行训练，冻结除了输出层以外的所有层进行训练。
[0028]优选地，所述步骤4中用损失函数来度量神经网络预测信息与期望信息的距离，预测信息越接近期望信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外小样本扩增与YOLOv5的红外弱小目标检测方法，其特征在于：含有以下步骤，步骤1：生成对抗网络；步骤2：训练集图像采用labelimg工具进行标注；步骤3：采用迁移学习的方法，加入已有数据集的预训练权重文件训练自己的数据集；步骤4：定义损失函数loss：步骤5：加入自注意力机制，引入CBAM模块；步骤6：准备工作完成开始训练数据集，将训练结果正确绘制在原始图像上；步骤7：将训练数据集的结果正确绘制在原始图像上并分割预测的图像，将红外图像测试数据集输入训练好的模型中，输出红外图像测试数据集目标预测边界框。2.根据权利要求1所述的基于红外小样本扩增与YOLOv5的红外弱小目标检测方法，其特征在于：所述步骤1中含有以下步骤，步骤1.1：生成对抗网络，采用未成对样本数据训练网络模型，给网络增加限制条件使得网络学习高维数据间的映射关系；将可见光域的图像转换为红外域的图像；步骤1.1.1：采用2个判别器和2个生成器构成循环的网络结构，2个生成器对可见光域和红外域的图像进行相互转换，2个判别器分别判别红外域和可见光红外域图像的真伪；步骤1.1.2：可见光域图像经过生成器后生成一幅红外域上的伪样本图像，网络模型在训练的过程中不断优化目标损失函数，学习到高维数据的特征分布，构建出可见光域至红外域的映射关系；步骤1.2：通过将2个单向的生成对抗网络耦合成一个环状网络结构，构建可见光域至红外域的映射关系，加入重构损失函数后，生成对抗网络在训练的过程中给生成伪样本的生成器添加强制性约束，即真实样本与通过连续的生成器所生成的伪样本间的差异应尽可能的小；步骤1.3：将注意力机制模型添加至生成对抗网络的生成器网络结构中；步骤1.3.1：网络模型是对称的结构，分别学习变换函数，实现两个数据域之间的映射，在Loss设计时提出循环一致性损失，在注意力机制的网络结构中，注意力模块生成注意力掩码，然后将注意力掩码与输入图像进行融合，通过网络训练得到高质量的生成样本，生成器不仅要生成样本，还要生成注意力掩码，然后通过Loss函数的设计以及网络生成器和判别器的博弈，网络的注意力将关注在目标上并生成质量比较好的样本；步骤1.3.2：生成器中注意力机制模型将输入的特征图经过全局平均池化和全局最大池化操作得到依托通道数的特征向量，将特征向量经过全连接层、拼接处理后送入分类器做源域和目标域的分类，反向传播学习到特征图对应的权值，最后，特征图对应的权值和特征图进行位乘得到经过注意力机制增强的特征图，使生成器着重于可见光域图像的关键区域信息以实现红外风格迁移。3.根据权利要求1所述的基于红外小样本扩增与YOLOv5的红外弱小目标检测方法，其特征在于：所述步骤2含有以下步骤：步骤2.1、训练集图像采用labelimg工具进行标注，对需要标注的图像打好标签后进行保存；步骤2.2、采用红外弱小目标数据集分辨率为1920
×
1080像素的红外弱小目标图像；
步骤2.3、使用不同复杂背景下的数据进行实验，训练集、验证集、测试集划分比例为7：2：1。4.根据权利要求1所述的基于红外小样本扩增与YOLOv5的红外弱小目标检测方法，其特征在于：所述步骤3含有以下步骤：采用已有的FLIR红外数据集的预训练模型，采用红外弱小目标数据集分辨率为1920
×
1080像素的红外弱小目标图像；通过冻结网络层行迁移训练实现在新模型上快速进行重新训练，YOLOv5所有层...

【专利技术属性】
技术研发人员：赵毅，张志新，任获荣，
申请(专利权)人：西安镭映光电科技有限公司，
类型：发明
国别省市：