一种联合可见光图像和红外图像的目标检测方法技术

本发明专利技术涉及一种联合可见光图像和红外图像的目标检测方法，属于基于深度学习的图像处理技术领域。首先将可见光图像和红外图像分别输入到特征提取模块中，提取可见光图像和红外图像的全局特征。再将可见光图像输入到光照感知模块中，提取光照信息。步其次将步骤一所得的特征输入到互信息模块中，以减少可见光图像和红外图像特征的冗余信息。然后将步骤一所得的特征输入到特征融合模块中，以融合可见光图像和红外图像特征的互补信息，得到融合后的特征图。最后将步骤二得到的光照信息和步骤四得到的特征图输入到检测器进行目标检测。本发明专利技术能有效利用可见光图像和红外图像的互补性优势，增强目标检测器的鲁棒性。增强目标检测器的鲁棒性。增强目标检测器的鲁棒性。

【技术实现步骤摘要】
一种联合可见光图像和红外图像的目标检测方法


[0001]本专利技术涉及一种联合可见光图像和红外图像的目标检测方法，属于基于深度学习的图像处理


技术介绍

[0002]以目标检测算法为核心的下游任务逐渐落地，如自动驾驶环境感知、视频监控、人脸识别等。但目前的目标检测算法大多基于单模态可见光图像为单一训练数据，在面临复杂环境，如光照条件不良，雨雾天时，此类算法精度不高，鲁棒性差。因此，近年来，越来越多学者聚焦于联合可见光图像和红外图像进行相关研究，通过结合可见光图像具有清晰的目标纹理特征优势和红外图像不受光照条件影响，具有清晰的目标轮廓优势，以可见光图像和红外图像为多模态数据训练相关检测网络，从而提高检测算法的鲁棒性。
[0003]在多模态目标检测算法中，如何有效融合不同模态间的互补信息，充分发挥不同模态的优势是重点之一。就目前而言，融合可见光图像和红外图像互补信息的主要手段是在网络中加入各种注意力机制，提取不同模态的重点关注区域的特征，然后融合这些特征，达到融合多模态数据互补信息的目的。2019年，Lu Zhang等人将可见光图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合可见光图像和红外图像的目标检测方法，其特征在于：Step1：将可见光图像和红外图像分别输入到特征提取模块中，提取可见光图像和红外图像的全局特征；Step2：将可见光图像输入到光照感知模块中，提取光照信息；Step3：将Step1所得的全局特征输入到互信息模块中，清除可见光图像和红外图像中的冗余信息；Step4：将Step1所得的特征输入到特征融合模块中，以融合可见光图像和红外图像特征的互补信息，得到融合后的特征图；Step5：将Step2得到的光照信息和Step4得到的特征图输入到检测器进行目标检测。2.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法，其特征在于：Step1中所述特征提取模块为基于SSD算法的主干网络，将SSD算法的主干网络复制为两个分支，一个分支提取可见光图像特征，另一个分支提取红外图像特征，具体为：F
v
＝SSD(vi_images)
ꢀꢀꢀꢀꢀꢀ
(1)F
i
＝SSD(if_images)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中，SSD表示SSD算法的主干网络，vi_images和if_images分别表示可见光图像和红外图像，F
v
和F
i
分别表示提取到的可见光图像和红外图像特征。3.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法，其特征在于：Step2中所述光照信息是指通过光照感知模块提取到的两个权重，具体为：W
s
,W
l
＝l_m(vi_images)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，l_m表示光照感知模块，W
s
和W
l
分别表示提取到的两个权重。4.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法，其特征在于：Step3中所述互信息模块为设计两个卷积层和全连接层，将可见光图像和红外图像特征映射为两个低维度特征向量，然后基于两个低维度特征向量，创建两个信息分布，最后计算两个信息分布的互信息，具体公式如下：M(Z
v
,Z
i
)＝H(Z
v
)+H(Z
i
)
‑
H(Z...

【专利技术属性】
技术研发人员：王青旺，池永柯，沈韬，宋健，王路，沈世全，朱艳，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：