基于红外图像与可见光图像的目标检测方法、系统及设备技术方案

本发明专利技术公开了一种基于红外图像与可见光图像的目标检测方法、系统及设备，涉及目标检测技术领域，该方法包括：S1，获取待检测图像对，所述待检测图像对包括目标红外图像和目标可见光图像，所述目标红外图像和所述目标可见光图像包含有相同内容；S2，通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果；其中，所述目标检测模型包括特征融合模块和预先训练好的改进YOLO网络，所述改进YOLO网络包括改进骨干网络和改进头部网络，所述改进骨干网络包括Backbone网络和Transformer模块，所述改进头部网络包括Head网络和多个CBAM模块，所述Backbone网络连接所述Transformer模块后连接所述Head网络，所述Head网络连接各个所述CBAM模块。个所述CBAM模块。个所述CBAM模块。

【技术实现步骤摘要】
基于红外图像与可见光图像的目标检测方法、系统及设备


[0001]本专利技术涉及目标检测
，具体涉及一种基于红外图像与可见光图像的目标检测方法、系统及设备。

技术介绍

[0002]为了满足遥感领域中对影像分类、目标检测以及对遥感图像的空间分辨率和光谱分辨率不断提升的要求，在对各个方面的因素进行综合考虑之后，得出对遥感图像进行融合处理是最合适的方式的结论，为此，图像融合技术在遥感领域得以快速发展。目前，多源遥感图像融合已广泛应用于土地覆盖分类、森林监测、地形图更新、变化检测、城市特征提取、洪水监测、冰雪监测等方面，随着各种传感器技术的不断发展，融合各种遥感图像仍是未来的研究热点。
[0003]图像融合检测是一种基于多源遥感图像融合的目标检测技术，其核心概念是利用计算机预处理、提取、融合多个成像技术对同一场景采集的图像，然后基于融合结果实现目标检测。由于应用了多源遥感图像融合的相关技术，因此图像融合检测可以多级别、多方面、多层次地融合多源遥感图像的信息，有效地利用了其冗余性和互补性的特点，克服了单一图像在分辨率、物理属性、信息量等方面的局限性，还可以抑制噪声、增强图像信息的聚集程度，使图像包含更多的特征信息，以达到提高目标检测精度的目的。红外遥感图像(后文简称红外图像)只反映红外辐射，因为图像中目标与背景的红外辐射强度不同，所以具有独特的辐射特征信息。红外图像对光照变化不敏感，具有抗干扰能力强的优势，但其劣势在于分辨率较低，图像信息单一。可见光遥感图像(后文简称可见光图像)成像清晰，具有颜色丰富、对比度高、边缘锐利、信息量大等优势，但其劣势在于图像中目标遮挡或目标与背景区分度不高，容易导致误检、漏检的问题。基于红外图像和可见光图像融合的目标检测能互相取长补短，不仅能解决目标遮挡或目标与背景区分度不高的难题，还避免了误检、漏检的问题，提高了目标检测的精度和鲁棒性，因此具有很高的实用性和应用价值。
[0004]目前，对图像的目标检测方法更多的是围绕着单一的源图像所进行的，现有的多源图像的目标检测方法未做到将图像融合及目标检测进行一体化，难以快速、实时地进行目标检测，检测效率低，检测准确度也低。

技术实现思路

[0005]本专利技术所要解决的技术问题为：现有的基于红外图像和可见光图像融合的目标检测方法的检测效率低、检测准确度低。为解决该技术问题，本专利技术提供了一种基于红外图像与可见光图像的目标检测方法、系统及设备。
[0006]本专利技术解决上述技术问题的技术方案如下：
[0007]一种基于红外图像与可见光图像的目标检测方法，包括：
[0008]S1，获取待检测图像对，所述待检测图像对包括目标红外图像和目标可见光图像，所述目标红外图像和所述目标可见光图像包含有相同内容；
[0009]S2，通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果；
[0010]其中，所述目标检测模型包括特征融合模块和预先训练好的改进YOLO网络，所述改进YOLO网络包括改进骨干网络和改进头部网络，所述改进骨干网络包括Backbone网络和Transformer模块，所述改进头部网络包括Head网络和多个CBAM模块，所述Backbone网络连接所述Transformer模块后连接所述Head网络，所述Head网络连接各个所述CBAM模块；
[0011]所述通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果，包括：
[0012]通过所述特征融合模块将所述目标红外图像和所述目标可见光图像进行特征融合，得到第一目标特征图；
[0013]通过所述改进骨干网络对所述第一目标特征图进行特征提取，得到第二目标特征图；
[0014]通过所述改进头部网络对所述第二目标特征图进行目标检测，得到所述待检测图像对对应的目标检测结果。
[0015]本专利技术的有益效果是：通过在改进YOLO网络前端加入特征融合模块，使目标检测模型可具备异源图像融合功能，增强了模型输入的丰富性，在将由异源图像组成的待检测图像对输入目标检测模型后，可快速获得检测结果；通过在Backbone网络后加入Transformer模块，可以更多地获取Backbone网络输出的各个特征图(即第二目标特征图)中的目标信息和周围信息；通过在Head网络中加入CBAM模块，可节约网络的计算能力，同时还能提升网络的特征提取能力，帮助网络抵御混淆信息，提高目标检测模型的检测准确度；对于待检测图像对，通过将待检测图像对输入目标检测模型中进行目标检测，可快速、准确地得到待检测图像对对应的目标检测结果，检测效率高、检测准确度高。
[0016]在上述技术方案的基础上，本专利技术还可以做如下改进。
[0017]进一步，所述特征融合模块包括依次连接的特征提取单元、特征融合单元和特征重构单元；
[0018]所述Backbone网络包括依次连接的第一特征提取模块和第二特征提取模块，所述第一特征提取模块包括多个CBS模块，所述第二特征提取模块包括多个组合模块，各个所述组合模块均包括依次连接的MP模块和ELAN模块，各个所述组合模块依次连接后与所述Transformer模块的输入端连接，所述Transformer模块的输出端与所述Head网络的输入端连接；
[0019]所述Head网络包括第一特征聚合模块和依次连接的多个第二特征聚合模块，所述第一特征聚合模块和各个所述第二特征聚合模块各自对应有一个所述CBAM模块；所述第一特征聚合模块包括依次连接的SPPCSPC模块和第一RepConv模块，所述SPPCSPC模块的输入端与所述第一特征聚合模块对应的CBAM模块连接；各个所述第二特征聚合模块均包括UP模块、拼接层、ELAN
‑
H模块和第二RepConv模块；对于每个所述第二特征聚合模块，所述UP模块、所述拼接层、所述第二特征聚合模块对应的CBAM模块、所述ELAN
‑
H模块和所述第二RepConv模块依次连接；将多个所述第二特征聚合模块中位置在最前的第二特征聚合模块作为首特征聚合模块，所述首特征聚合模块包含的UP模块的输入端与所述SPPCSPC模块的输出端连接；将多个所述第二特征聚合模块中除位置在最后的第二特征聚合模块以外的各
个所述第二特征聚合模块分别作为一个在前特征聚合模块，对于每个所述在前特征聚合模块，所述在前特征聚合模块包含的ELAN
‑
H模块的输出端与位于所述在前特征聚合模块之后且与所述在前特征聚合模块连接的第二特征聚合模块中的UP模块连接。
[0020]采用上述进一步方案的有益效果是：通过在YOLO网络前端加入特征融合模块，使目标检测模型可具备异源图像融合功能，增强了模型输入的丰富性，在将由异源图像组成的待检测图像对输入目标检测模型后，可快速获得检测结果；通过在Backbone网络后加入Transformer模块，可以更多地获取Backbone网络输出的各个特征图中的目标信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外图像与可见光图像的目标检测方法，其特征在于，包括：S1，获取待检测图像对，所述待检测图像对包括目标红外图像和目标可见光图像，所述目标红外图像和所述目标可见光图像包含有相同内容；S2，通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果；其中，所述目标检测模型包括特征融合模块和预先训练好的改进YOLO网络，所述改进YOLO网络包括改进骨干网络和改进头部网络，所述改进骨干网络包括Backbone网络和Transformer模块，所述改进头部网络包括Head网络和多个CBAM模块，所述Backbone网络连接所述Transformer模块后连接所述Head网络，所述Head网络连接各个所述CBAM模块；所述通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果，包括：通过所述特征融合模块将所述目标红外图像和所述目标可见光图像进行特征融合，得到第一目标特征图；通过所述改进骨干网络对所述第一目标特征图进行特征提取，得到第二目标特征图；通过所述改进头部网络对所述第二目标特征图进行目标检测，得到所述待检测图像对对应的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括依次连接的特征提取单元、特征融合单元和特征重构单元；所述Backbone网络包括依次连接的第一特征提取模块和第二特征提取模块，所述第一特征提取模块包括多个CBS模块，所述第二特征提取模块包括多个组合模块，各个所述组合模块均包括依次连接的MP模块和ELAN模块，各个所述组合模块依次连接后与所述Transformer模块的输入端连接，所述Transformer模块的输出端与所述Head网络的输入端连接；所述Head网络包括第一特征聚合模块和依次连接的多个第二特征聚合模块，所述第一特征聚合模块和各个所述第二特征聚合模块各自对应有一个所述CBAM模块；所述第一特征聚合模块包括依次连接的SPPCSPC模块和第一RepConv模块，所述SPPCSPC模块的输入端与所述第一特征聚合模块对应的CBAM模块连接；各个所述第二特征聚合模块均包括UP模块、拼接层、ELAN
‑
H模块和第二RepConv模块；对于每个所述第二特征聚合模块，所述UP模块、所述拼接层、所述第二特征聚合模块对应的CBAM模块、所述ELAN
‑
H模块和所述第二RepConv模块依次连接；将多个所述第二特征聚合模块中位置在最前的第二特征聚合模块作为首特征聚合模块，所述首特征聚合模块包含的UP模块的输入端与所述SPPCSPC模块的输出端连接；将多个所述第二特征聚合模块中除位置在最后的第二特征聚合模块以外的各个所述第二特征聚合模块分别作为一个在前特征聚合模块，对于每个所述在前特征聚合模块，所述在前特征聚合模块包含的ELAN
‑
H模块的输出端与位于所述在前特征聚合模块之后且与所述在前特征聚合模块连接的第二特征聚合模块中的UP模块连接。3.根据权利要求2所述的方法，其特征在于，所述通过预先构建好的目标检测模型对所述待检测图像对进行目标检测，得到所述待检测图像对对应的目标检测结果，包括：通过所述特征提取单元对所述目标红外图像进行特征提取，得到红外特征图，通过所述特征提取单元对所述目标可见光图像进行特征提取，得到可见光特征图；
通过所述特征融合单元对所述红外特征图和所述可见光特征图进行特征融合，得到融合特征图；通过所述特征重构单元对所述融合特征图进行重构，得到所述第一目标特征图；通过所述第一特征提取模块对所述第一目标特征图进行特征提取，得到第一提取特征图，所述第一提取特征图为所述第一特征提取模块输出的特征图；对于每个所述组合模块，将位于所述组合模块之前且与所述组合模块连接的第一特征提取模块或组合模块输出的特征图进行特征提取，得到所述组合模块对应的第二提取特征图，所述第二提取特征图为所述组合模块输出的特征图；对于每个所述第二提取特征图，通过所述Transformer模块对所述第二提取特征图进行特征提取，得到所述第二提取特征图对应的第二目标特征图；通过所述第一特征聚合模块根据各个所述第二目标特征图进行目标检测，得到所述第一特征聚合模块对应的第一检测结果；通过所述首特征聚合模块将所述第一特征聚合模块中的SPPCSPC模块输出的特征图进行目标检测，得到所述首特征聚合模块对应的第二检测结果；将多个所述第二特征聚合模块中除所述...

【专利技术属性】
技术研发人员：付志涛，黎瑞虹，唐伯惠，张韶琛，张健，张珂，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：