一种基于无人机的跨模态融合目标检测方法技术

本发明专利技术公开了一种基于无人机的跨模态融合目标检测方法，将可见光图像特征与红外图像特征融合互补，同时根据光照强度自适应调整模态融合权重，进一步解决可见光或红外图像单一模态检测的局限性，提升融合目标检测准确性。将可见光图像I

【技术实现步骤摘要】
一种基于无人机的跨模态融合目标检测方法


[0001]本专利技术属于机器学习
，特别涉及一种基于无人机的跨模态融合目标检测方法。

技术介绍

[0002]无人机目标检测技术是一种利用无人机搭载的摄像头，通过图像处理技术对无人机拍摄的图像进行分析，从而实现对目标的检测和跟踪的技术。该技术是无人机智能化的重要组成部分，可以提高无人机的感知能力和自主性，为无人机在各个领域的应用提供基础的技术支持。
[0003]然而基于无人机的目标检测技术也面临着一些困难与挑战，例如无人机获取的图像具有背景复杂、视角多变、光照不均等特点，容易导致图像质量低下、给目标检测带来噪声干扰，同时无人机图像中的目标具有尺度变化大、形状不规则等特点，容易导致目标难以定位与识别。其中在成像硬件上，受限于可见光传感器本身硬件的成像原理，仅使用可见光图像很难达到高精度的检测结果，而红外图像只依赖于目标的热辐射能力，同时其具有更好的烟雾穿透能力、不受光照条件影响、适合全天候工作等特点，目前单一模态的目标检测技术无法同时支持两种模态的融合检测，因此采用多模态融合技术对这两种不同模态的图像进行融合，设计跨模态融合目标检测来充分利用两种模态的有效信息，进而提高算法的可靠性与稳定性。
[0004]目前基于可见光与红外图像融合目标检测的研究还处于起步阶段，其本质属于多模态图像融合任务，在融合方法上主要分为早期融合、晚期融合、混合融合的方式，其适用于不同的应用场景。由于大量研究证明CNN在单个模态任务中具有强大的表示学习能力，尤其是图像模态，因此目前跨模态融合目标检测方式多采用卷积神经网络结构，并结合人工设计融合策略的方式指导融合。但基于人工设计融合策略的方式并不能充分融合跨模态间的有效信息。此外，此前研究多集中于低光照下的单一场景，未考虑到光照因素对跨模态间融合的影响。
[0005]现有的基于可见光与红外图像融合目标检测主要问题有：一是采用人工设计融合策略的方式，可能导致实际跨模态信息融合过程中的不充分。二是不同光照条件对跨模态间信息融合的权重影响不同，在指导跨模态间信息融合时需要考虑光照因素。

技术实现思路

[0006]本专利技术提供了一种基于无人机的跨模态融合目标检测方法，以解决人工设计跨模态融合策略所可能导致的融合不充分及光照自适应融合权重调整问题。
[0007]为了实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于无人机的跨模态融合的目标检测方法，包括以下步骤：
[0009]步骤一、将可见光图像I
vis
与红外图像I
inf
分别输入对应分支模态进行特征提取；
[0010]步骤二、将可见光分支与红外图像分支的中间特征输入TransFusion模块进行特
征信息的融合，并将融合信息补充到对应分支，将信息补充后的特征分别送入对应的Balancing Units结构进行融合权重平衡后进行相加获得融合特征P；
[0011]步骤三、将不同尺度下的特征图重复步骤二操作三次，分别获得融合特征图P3、P4、P5；
[0012]步骤四、将步骤三获得的融合特征图送入多尺度融合网络进行特征信息互补；
[0013]步骤五、对步骤四获得的特征图进行检测并输出结果。
[0014]进一步的，所述步骤一包括以下步骤：
[0015]输入的可见光图像与红外图像均为RGB格式，其中可见光分支与红外图像分支结构相同，特征提取网络包括ConvBNSiLU层与C3层，其中ConvBNSiLU层是卷积层、BN层与SiLU激活函数的组合，C3层紧跟ConvBNSiLU层，包括卷积块与残差结构，用于加速特征提取与降低参数。
[0016]进一步的，所述步骤二包括以下步骤：
[0017]执行跨模态信息融合互补与融合权重自适应调整，
[0018]I
in
＝Contact(Seq(F
R
)，Seq(F
I
))，
[0019]I
out
＝f
TransFusion
(I
in
)，
[0020]F
’
R
＝F
R
+UnSeq
R
(I
out
)，
[0021]F
’
I
＝F
I
+UnSeq
I
(I
out
)，
[0022]P＝f
Balancing Units
(F
′
R
)+f
Balancing Units
(F
′
I
).
[0023]其中：I
in
表示TransFusion模块的输入，Contact()表示拼接操作，Seq()表示序列化操作，F
R
与F
I
分别表示跨模态融合过程中输入的可见光图像特征图与红外图像特征图，I
out
表示跨模态融合的总特征，f
TransFusion
()表示两种模态特征图的信息融合操作，F
’
R
表示跨模态融合总特征中对应可见光图像特征的部分，F
’
I
表示跨模态融合总特征中对应红外图像特征的部分，UnSeq
R
()、UnSeq
I
()分别表示先执行拆分操作并执行反序列化得到对应可见光和红外图像的特征图，f
Balancing Units
()执行根据光照强度自适应平衡融合权重操作，P是该尺度下执行跨模态信息融合互补与融合权重自适应后所获得的融合特征图；
[0024]跨模态信息融合互补操作：首先经由两种分支网络卷积模块获得可见光图像特征图F
R
与红外图像特征图F
I
，之后分别将F
R
与F
I
展平序列化后进行拼接形成TransFusion结构的输入I
in
，经过TransFusion结构融合特征后将融合特征进行拆分与反序列化后分别加入原来的分支获得F
’
R
与F
’
I
，完成跨模态信息互补过程；
[0025]融合权重自适应调整操作：将F
’
R
与F
’
I
分别输入对应的Balancing Units模块完成权重平衡后相加获得融合特征P；
[0026]Balancing Units模块输入大小为C
×
H
×
W，C为输入特征图通道数，W和H分别表示原始图像的宽和高，其中ConvBNSiLU层的1
×
1，C/2与3
×
3，C/2分别指卷积核大小为1
×1×
C/2和3
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的跨模态融合的目标检测方法，其特征在于，包括以下步骤：步骤一、将可见光图像I
vis
与红外图像I
inf
分别输入对应分支模态进行特征提取；步骤二、将可见光分支与红外图像分支的中间特征输入TransFusion模块进行特征信息的融合，并将融合信息补充到对应分支，将信息补充后的特征分别送入对应的Balancing Units结构进行融合权重平衡后进行相加获得融合特征P；步骤三、将不同尺度下的特征图重复步骤二操作三次，分别获得融合特征图P3、P4、P5；步骤四、将步骤三获得的融合特征图送入多尺度融合网络进行特征信息互补；步骤五、对步骤四获得的特征图进行检测并输出结果。2.根据权利要求1所述的基于无人机的跨模态融合的目标检测方法，其特征在于，所述步骤一包括以下步骤：输入的可见光图像与红外图像均为RGB格式，其中可见光分支与红外图像分支结构相同，特征提取网络包括ConvBNSiLU层与C3层，其中ConvBNSiLU层是卷积层、BN层与SiLU激活函数的组合，C3层紧跟ConvBNSiLU层，包括卷积块与残差结构，用于加速特征提取与降低参数。3.根据权利要求1所述的基于无人机的跨模态融合的目标检测方法，其特征在于，所述步骤二包括以下步骤：执行跨模态信息融合互补与融合权重自适应调整，I
in
＝Contact(Seq(F
R
)，Seq(F
I
))，I
out
＝f
TransFusion
(I
in
)，F
′
R
＝F
R
+UnSeq
R
(I
out
)，F
′
I
＝F
I
+UnSeq
I
(I
out
)，其中：I
in
表示TransFusion模块的输入，Contact()表示拼接操作，Seq()表示序列化操作，F
R
与F
I
分别表示跨模态融合过程中输入的可见光图像特征图与红外图像特征图，I
out
表示跨模态融合的总特征，f
TransFusion
()表示两种模态特征图的信息融合操作，F
’
R
表示跨模态融合总特征中对应可见光图像特征的部分，F
’
I
表示跨模态融合总特征中对应红外图像特征的部分，UnSeq
R
()、UnSeq
I
()分别表示先执行拆分操作并执行反序列化得到对应可见光和红外图像的特征图，f
Balancing Units
()执行根据光照强度自适应平衡融合权重操作，P是该尺度下执行跨模态信息融合互补与融合权重自适应后所获得的融合特征图；跨模态信息融合互补操作：首先经由两种分支网络卷积模块获得可见光图像特征图F
R
与红外图像特征图F
I
，之后分别将F
R
与F
I
展平序列化后进行拼接形成...

【专利技术属性】
技术研发人员：刘虎，曹志远，黄强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：