一种基于特征自适应融合的红外可见光跨模态目标检测方法技术

本发明专利技术涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法，属于基于深度学习的图像处理技术领域。首先将可见光图像和红外图像输入到特征提取模块提取可见光图像和红外图像的特征。再将特征输入到模态间权重自适应模块中，使更多对特征融合有益的模态间互补信息被保留。之后将各层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息。最后输入到检测模块进行目标检测。本发明专利技术能够充分利用模态内通道间的重要信息和可见光图像与红外图像模态间的互补信息，并且有效融合高低层特征，增强全天侯目标检测的鲁棒性。棒性。棒性。

【技术实现步骤摘要】
一种基于特征自适应融合的红外可见光跨模态目标检测方法


[0001]本专利技术属于基于深度学习的图像处理
，涉及一种基于特征自适应融合的红外可见光跨模态目标检测方法。

技术介绍

[0002]经济的快速发展导致车辆呈现逐年增多的趋势，出行安全成为越来越重要的问题，高鲁棒性的目标检测可以极大的提升出行的安全。传统的目标检测算法大多是基于单类型传感器，比如可见光相机，但是其效果在夜间或者其他光线不良的条件下不理想，然而红外相机在夜间或者光线不良的条件下可以充分发挥出优势。因此，近年来许多学者对基于可见光和红外图像的跨模态目标检测做出研究，通过将两种传感器所得图像的优势进行结果，提高全天候目标检测的鲁棒性。
[0003]然而目前基于可见光和红外图像的跨模态目标检测算法大多是在各自的特征提取网络进行特征提取，随后级联生成融合特征，其并没有考虑模态间的相互关系和高低层特征的联系。
[0004]因此，基于模态间关系和高低层特征的联系考虑不充分的问题，有必要提出一种基于特征自适应融合的红外可见光跨模态目标检测方法，以实现模态间和高低层特征自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征自适应融合的红外可见光跨模态目标检测方法，其特征在于：包括以下步骤：Step1：将可见光图像和红外图像输入到图像预处理模块进行预处理，随后输入到特征提取模块，提取可见光和红外图像特征；Step2：将Step1提取的特征输入到模态间权重自适应模块，使模态间更多有用信息被保留；Step3：将Step2中所得的高低层融合特征输入到高低层特征权重自学习模块，保留更多不同层级间有用信息；Step4：将Step3所得的融合特征输入到检测模块进行目标检测。2.根据权利要求1所述的方法，其特征在于：Step1中所述预处理过程中将红外图像的单通道复制成三个通道，特征提取模块为基于ResNet
‑
50的前4个卷积模块作为卷积层构成的，并将其复制成双支特征提取网络，分别用于提取可见光图像特征和红外图像特征，卷积层具体操作为：F
V
＝Res
′
(V_images)
ꢀꢀ
(1)F
T
＝Res
′
(T_images)
ꢀꢀ
(2)式中，Res
′
表示ResNet
‑
50算法的部分特征提取网络，共包含四个特征层，分别对应ResNet
‑
50的conv1、conv2_x、conv3_x和conv4_x，V_images和T_images分别表示图像预处理后的可见光图像和红外图像，F
V
和F
T
分别表示提取到的可见光图像和红外图像特征。3.根据权利要求1所述的方法，其特征在于：Step1中所述特征提取模块中插入注意力机制算法，位置在卷积层之后数量一共也为4，注意力机制包括通道注意力和空间注意力，分别对通道信息和空间信息赋权，使得对特征融合和目标检测有用的信息得到更多的保留，无用信息被抑制，具体为：F
AV
＝Att(F
V
)
ꢀꢀ
(3)F
AT
＝Att(F
T
)
ꢀꢀꢀ
(4)式中，F
AV
表示可见光图像经过通道和空间注意力机制计算后输出的特征图，F
AT
表示可见光图像经过通道和空间注意力机制计算后输出的特征图，Att表示注意力机制算法，F
V
表示卷积之后的可见光图像特征，F
T
表示卷积之后的红外图像特征。4.根据权利要求2所述的方法，其特征在于：Step2中所述权重自适应模块通过模态间特征学习的方式，赋予可见光图像和红外图像特征不同的权重，保留更多模态间有用信息...

【专利技术属性】
技术研发人员：殷春芳，孙玉飞，李祎承，李春，汪少华，
申请(专利权)人：江苏大学，
类型：发明
国别省市：