一种基于特征融合与注意力机制的红外目标检测方法技术

本发明专利技术属于计算机视觉领域，公开了一种基于特征融合与注意力机制的红外目标检测方法，主要解决现有技术在红外图像目标检测中由于红外图像特征少导致的精度低问题。其方案为：1)搭建特征融合与注意力机制的红外目标检测网络；2)构建红外图像数据集；3)利用构建的数据集对特征融合与注意力机制的红外目标检测网络进行训练，得到训练好的红外目标检测网络；4)将待检测的红外图像，输入到训练好的网络中进行检测标注，输出红外目标的检测结果。本发明专利技术增强了网络的识别和定位红外能力，保证检测的速度，提高了检测精度，广泛应用于工业、安防、交通等领域。交通等领域。交通等领域。

【技术实现步骤摘要】
一种基于特征融合与注意力机制的红外目标检测方法


[0001]本专利技术属于计算机视觉领域，特别是涉及一种基于特征融合与注意力机制的红外目标检测方法，适用于夜间自动驾驶、区域安防和体检测温等领域。

技术介绍

[0002]红外目标检测是利用计算机视觉技术判断红外图像中是否存在人、车等目标，并给予精确定位。该技术在工业、安防、交通等民用领域有着广泛的应用。例如红外技术能够检测出器件是否出现接触不良或损坏；红外技术可以应用于无人驾驶车上进行全天候的目标检测等。红外目标检测系统的研究经过十几年的发展，检测精度趋于实用化、检测速度趋于实时化。在传统的红外目标检测方法中，分为区域选择、特征提取和分类器分类三个阶段，由于区域选择策略没有针对性，具有窗口冗余，会导致后续分类过程出现错检的现象；其次手工设计的特征对于环境多样性没有很好的鲁棒性，对于复杂环境情况下手工设计的特征没有办法获取准确的语义信息，检测的精度不高。加之红外图像本身具有对比度低、信噪比低等特点，使得红外目标检测任务增加了难度。容易造成小目标漏检、目标定位不准确等问题。
[0003]现有的基于深度学习的红外目标检测方法按有无anchor可分为anchor
‑
based、 anchor
‑
free两种方法。其中anchor
‑
based方法分为one
‑
stage和two
‑
stage两种，约瑟夫
·
雷德蒙2016年在CVPR上发表的论文“You Only Look Once:Unified,Real
‑
Time ObjectDetection”中提出的一种one
‑
stage目标检测算法YOLOv1。该方法将物体检测任务当做一个回归问题来处理，使用一个神经网络，直接从一整张图像来预测出bounding box的坐标、 box中包含物体的置信度和物体的概率。该方法检测物体的速度很快，但是在物体定位时更容易出错。何凯明2017年在IEEE上发表的论文“Faster R
‑
CNN:Towards Real
‑
Time ObjectDetection with Region Proposal Networks”中提出的一种two
‑
stage目标检测算法FasterR
‑
CNN。该方法由两个模块组成，一个模块是深度全卷积网络RPN，用于生成区域方案；第二个模块是Fast R
‑
CNN检测器，其使用了RPN产生的区域方案进行检测。但该方法存在的不足之处是，Faster R
‑
CNN在训练过程中分两步进行，导致目标检测的速度低，无法保证目标检测的实时性。
[0004]Hei Law等人2018年在ECCV上发表的论文“CornerNet:Detecting Objects as PairedKeypoints”中提出的一种anchor
‑
free目标检测算法CornerNet，该方法将目标检测问题当作关键点检测问题来解决，也就是通过检测目标框的左上角和右下角两个关键点得到预测框，因此CornerNet算法中没有anchor的概念；整个检测网络的训练是从头开始的，并不基于预训练的分类模型，这使得用户能够自由设计特征提取网络，不用受预训练模型的限制。但是该方法语义模糊性，导致检测结果不稳定，需要设计更多的方法来进行重新分配权重。

技术实现思路

[0005]本专利技术的目的在于针对现有的红外目标检测技术存在检测精度低，速度慢的问题，提供一种基于特征融合与注意力机制的红外目标检测方法，以提升红外目标检测的精度，保证红外目标检测的实时性。
[0006]为实现上述目的，本专利技术技术方案包括如下：
[0007]一种基于特征融合与注意力机制的红外目标检测方法，包括如下步骤：
[0008](1)构建特征融合与注意力机制的红外目标检测网络，按照网络结构连接顺序，依次为：主干网络CSPDarknet53、特征融合网络RFB、颈部网络PANet、注意力网络CAR2和头部网络YOLO Head；其中，主干网络CSPDarknet53用于对输入的红外图像进行初步的特征提取，特征融合网络RFB和颈部网络PANet分别用于加强网络的特征提取能力，注意力网络CAR2 用于使网络更关注于目标的特征，头部网络YOLO Head用于最后的目标识别和定位；
[0009](2)构建数据集：收集FLIR红外图像数据集，含有红外图像文件和标注文件，并将红外图像文件数量和标注文件数量按设定比例划分为训练集、验证集和测试集；
[0010](3)利用训练集和验证集对特征融合与注意力机制的红外目标检测网络进行训练，得到训练好的特征融合与注意力机制的红外目标检测网络；
[0011](4)步骤将(2)所构建的测试集输入到训练好的特征融合与注意力机制的红外目标检测网络中进行检测标注，输出标注有目标框的红外图像，得到红外目标的检测结果。
[0012]进一步的，步骤(1)中主干网络CSPDarknet53的结构关系依次为：
[0013]输入层
→
第一卷积层
→
第二卷积层
→
第一组合模块CSP1
→
第三卷积层
→
第四卷积层
→
第二组合模块CSP2
→
第五卷积层
→
第六卷积层
→
第三组合模块CSP8
→
第七卷积层
→
第八卷积层
→
第四组合模块CSP8
→
第九卷积层
→
第十卷积层
→
第五组合模块CSP4
→
第十一卷积层，其中：
[0014]第一卷积层至第十一卷积层均为CBM卷积层，即由Conv卷积+Bn批量归一化层+Mish 激活函数层组成；
[0015]第一组合模块CSP1，由三个卷积核通道数为64的CBM卷积层和一个CSP残差模块拼接组成；
[0016]第二组合模块CSP2，由三个卷积核通道数为128的CBM卷积层和二个CSP残差模块拼接组成；
[0017]第三组合模块CSP8，由三个卷积核通道数为256的CBM卷积层和八个CSP残差模块拼接组成；
[0018]第四组合模块CSP8，由三个卷积核通道数为512的CBM卷积层和八个CSP残差模块拼接组成；
[0019]第五组合模块CSP4，由三个卷积核通道数为1024的CBM卷积层和四个CSP残差模块拼接组成；
[0020]所述五个组合模块，均由两条分支组成，第一分支为第一个CBM卷积层，其输入为上一卷积层的输出，其输出为CSP残差模块，且各CSP残差模块按顺序连接，最后一个CSP 残差模块的输出连接第二个CBM卷积层；第二分支为第三个CBM卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合与注意力机制的红外目标检测方法，其特征在于，包括如下步骤：(1)构建特征融合与注意力机制的红外目标检测网络，按照网络结构连接顺序，依次为：主干网络CSPDarknet53、特征融合网络RFB、颈部网络PANet、注意力网络CAR2和头部网络YOLO Head；其中，主干网络CSPDarknet53用于对输入的红外图像进行初步的特征提取，特征融合网络RFB和颈部网络PANet分别用于加强网络的特征提取能力，注意力网络CAR2用于使网络更关注于目标的特征，头部网络YOLO Head用于最后的目标识别和定位；(2)构建数据集：收集FLIR红外图像数据集，含有红外图像文件和标注文件，并将红外图像文件数量和标注文件数量按设定比例划分为训练集、验证集和测试集；(3)利用训练集和验证集对特征融合与注意力机制的红外目标检测网络进行训练，得到训练好的特征融合与注意力机制的红外目标检测网络；(4)步骤将(2)所构建的测试集输入到训练好的特征融合与注意力机制的红外目标检测网络中进行检测标注，输出标注有目标框的红外图像，得到红外目标的检测结果。2.根据权利要求1所述的基于特征融合与注意力机制的红外目标检测方法，其特征在于，步骤(1)中主干网络CSPDarknet53的结构关系依次为：输入层
→
第一卷积层
→
第二卷积层
→
第一组合模块CSP1
→
第三卷积层
→
第四卷积层
→
第二组合模块CSP2
→
第五卷积层
→
第六卷积层
→
第三组合模块CSP8
→
第七卷积层
→
第八卷积层
→
第四组合模块CSP8
→
第九卷积层
→
第十卷积层
→
第五组合模块CSP4
→
第十一卷积层，其中：第一卷积层至第十一卷积层均为CBM卷积层，即由Conv卷积+Bn批量归一化层+Mish激活函数层组成；第一组合模块CSP1，由三个卷积核通道数为64的CBM卷积层和一个CSP残差模块拼接组成；第二组合模块CSP2，由三个卷积核通道数为128的CBM卷积层和二个CSP残差模块拼接组成；第三组合模块CSP8，由三个卷积核通道数为256的CBM卷积层和八个CSP残差模块拼接组成；第四组合模块CSP8，由三个卷积核通道数为512的CBM卷积层和八个CSP残差模块拼接组成；第五组合模块CSP4，由三个卷积核通道数为1024的CBM卷积层和四个CSP残差模块拼接组成；所述五个组合模块，均由两个分支组成，第一分支为第一个CBM卷积层，其输入为上一卷积层的输出，其输出为CSP残差模块，且各CSP残差模块按顺序连接，最后一个CSP残差模块的输出连接第二个CBM卷积层；第二分支为第三个CBM卷积层，其输入为上一卷积层的输出；整个组合模块的输出为第二个CBM卷积层的输出和第三个CBM卷积层的输出concat；所述concat为将两条分支的特征度在通道维度进行拼接；所述CSP残差模块，由两个CBM卷积层顺序连接组成，且第二个CBM卷积层的输出与第一个CBM卷积层的输入相加作为该模块的输出；所述Mish激活函数表示为：Mish＝x
×
tanh(ln(1+e
x
))，式中，x表示上一层的输出，tanh为双曲正切函数。
3.根据权利要求1所述的基于特征融合与注意力机制的红外目标检测方法，其特征在于，步骤(1)中特征融合网络RFB的结构关系依次为：第1分支
→
第2分支
→
第3分支
→
第4分支
→
第5分支，其中：第1分支，由两个卷积核通道数为128的1_DCBL卷积层顺序连接组成；第2分支，由两个卷积核通道数分别为64和128的1_DCBL卷积层和一个卷积核通道数为128的2_DCBL卷积层顺序连接组成；第3分支，由三个卷积核通道数分别为64、96和128的1_DCBL卷积层和一个卷积核通道数为128的3_DCBL卷积层顺序连接组成；第4分支，由一个卷积核通道数为2048的1_DCBL卷积层顺序连接组成；第5分支，由一个卷积核通道数为2048的1_DCBL卷积层组成，输入为第一分支、第二分支和第三分支的输出concat之后的结果；所述第1分支、第2分支、第3分支和第4分支的输入均为主干网络CSPDarknet53最后一层经过CBL结构后的输出，特征融合网络RFB的最终输出为第4分支和第5分支的输出相加的结果；所述相加后的结果为通道数2048，大小为13*13像素的特征图；所述CBL卷积层由Conv卷积+Bn批量归一化+Leaky_relu激活函数组成；所述1_DCBL卷积层由Conv卷积层+Bn批量归一化+Leaky_relu激活函数组成；2_DCBL卷积层由dilation为2的空洞卷积+Bn批量归一化+Leaky_relu激活函数组成；3_DCBL卷积层由dilation为3的空洞卷积+Bn批量归一化+Leaky_relu激活函数组成；所述concat为将三条分支的特征度在通道维度进行拼接，拼接后通道数为384，特征图大小为13*13像素；所述Leaky_relu激活函数表示为：式中，x表示上一层的输出。4.根据权利要求2所述的基于特征融合与注意力机制的红外目标检测方法，其特征在于，步骤(1)中颈部网络PANet的结构关系依次为：a组合模块
→
b组合模块
→
c组合模块
→
d组合模块，其中：a组合模块，由第1堆叠模块和卷积层构成，第1堆叠模块为特征融合网络RFB结构的输出经过CBL结构并且上采样后的特征层和主干网络CSPDarknet53第九卷积层输出的26
×
26
×
256有效特征层经过CBL结构后的堆叠，卷积层为1
×
1像素和3
×
3像素的CBL交替卷积；b组合模块，由第2堆叠模块和卷积层构成，第2堆叠模块为a组合模块的...

【专利技术属性】
技术研发人员：柴兴华，雷耀麟，李晓颖，姬红兵，张文博，刘厦，宗茂，张小龙，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：