基于风格迁移的非对齐可见光和红外模态融合目标检测方法技术

该发明专利技术公开了一种基于风格迁移的非对齐可见光和红外模态融合目标检测方法，属于多模态目标检测领域。本发明专利技术充分考虑可见光和红外图像不对齐的问题，采用一个可学习的仿射变换网络，对红外模态作仿射变换，实现模态间特征对齐，有效的提升模态融合的效果。本发明专利技术中采用一个可学习的仿射变换模块LATM(learning affine transform moduel)来进行特征对齐，采用一个风格迁移融合模块来进行模态间特征融合，本发明专利技术可以有效地应对非对齐的可见光和红外图像融合目标检测任务。外图像融合目标检测任务。外图像融合目标检测任务。

【技术实现步骤摘要】
基于风格迁移的非对齐可见光和红外模态融合目标检测方法


[0001]本专利技术属于多模态目标检测领域，尤其涉及一种基于风格迁移的非对齐可见光和红外模态融合目标检测方法。

技术介绍

[0002]为了应对现实中各种复杂检测场景，单传感器目标检测系统已难以满足实际检测需求，采用多传感器的多模态目标检测系统成为实际工程应用中的主流，比如自动驾驶汽车等。多模态融合的目标检测方法在计算机视觉研究和实际工程应用中具有重要的意义。
[0003]常用的摄像头属于可见光波段，在光线良好的情况下能够捕捉到较好的环境信息，但是在雨雾天气或者晚上检测能力会急剧退化。而红外利用热效应，在光照较低的情况下具有较好的检测性能，与可见光传感器能达成优势互补。因此，可见光和红外模态融合目标检测在应对现实环境中具有更好的鲁棒性。
[0004]在现有的可见光和红外多模态融合目标检测技术中，如CFT和GAFF方法，他们都通过各模态特征提取网络提取特征，然后在特征层面将多模态进行融合，但是都没有考虑到两种模态具有不同的风格属性，没有进行风格统一，导致不能有效的融合多模态信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于风格迁移的非对齐可见光和红外模态融合目标检测方法，该方法包括：步骤1、将可见光图像img
v
和非对齐红外图像img
I
分别输入各自的特征提取模块h
i
和得到八分之一下采样的可见光特征f
v1
和红外特征f
I1
，具体公式如下：(f
v1
,f
I1
)＝DS(SiLu(BN(conv(img
v
,img
I
)))#n
ꢀꢀꢀꢀꢀ
(0.1)式中，DS表示下采样，SiLu表示激活函数，BN表示批量标准化，conv表示卷积，#n表示执行了n次，n＝3；步骤2、由于可见光和红外图像像素级非对齐，采用一个可学习的仿射变换模块LATM对红外模态特征f
I1
进行仿射变换得到f
′
I1
，使其尽可能地与可见光图像特征f
v1
在特征空间上实现对齐，有益于后面的模态融合操作，仿射变换的计算公式如下：式中，x
i
,y
i
表示像素点仿射变换前的x,y坐标，x
′
i
,y
′
i
表示该像素点经过仿射变换后对应的x,y坐标，A
θ
表示仿射变换矩阵，θ为的LATM模块生成的仿射变换系数；步骤3，由于特征f
v1
和f
′
I1
分别来自可见光图像和红外图像，它们具有不同的风格属性，风格属性由特征的均值μ和标准差α表征；为了更好的对两个模态特征进行融合，设计了一个风格迁移融合模块；将可见光特征f
v1
和经过仿射变换后的红外特征f
′
I1
输入风格迁移融合模块，分别对特征去掉原来的风格属性，即减去特征的均值μ除以特征标准差α，这里的操作是采用实例标准化而非批量标准化，即对每一个特征通道进行计算；然后迁移到一个新的统一的风格，即乘上新风格标准差再加上新风格的均值；将可见光特征f
v1
和f
′
I1
输入风格迁移融合模块，最后融合在一起得到融合特征f
fusion1
，风格迁移融合模块的具体公式如下：式中，conv表示卷积操作，用于将融合特征的通道数减少至融合前；concat表示特征拼接操作；μ(f
v1
)、α(f
v1
)、μ(f
′
I1
)、α(f
′
I1
)分别表示图像特征和红外特征的均值、标准差；μ,α是的风格迁移融合网络生成的新风格的均值和方差；步骤4、将融合的特征f
fusion1
分别与融合前的图像特征f
v1

【专利技术属性】
技术研发人员：何明洲，吴庆波，李宏亮，孟凡满，许林峰，潘力立，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：