基于傅里叶卷积可见光和红外图像多尺度特征融合方法技术

本发明专利技术公开了一种基于傅里叶卷积可见光和红外图像多尺度特征融合方法，包括以下步骤：

【技术实现步骤摘要】
基于傅里叶卷积可见光和红外图像多尺度特征融合方法


[0001]本专利技术涉及一种图像特征提取处理方法，特别是一种基于傅里叶卷积可见光和红外图像多尺度特征融合方法
。

技术介绍

[0002]在军事和安全领域中，对于目标的探测和识别，目前常用的红外侦查图像或者可见光侦查图像
。
红外侦查图像能够捕捉到可见光谱之外的红外辐射，这是人眼无法感知的辐射，红外辐射对于一些物质和环境来说具有较强的穿透能力，能够透过烟雾
、
雾霾
、
云层等视觉障碍物，这使得红外图像在恶劣天气条件下仍能提供有效的图像信息，有助于在复杂环境中进行观察和监测；但是红外图像也有一些限制，例如分辨率相对较低
、
成像质量受到环境因素影响等
。
而可见光侦查图像的穿透能力较弱，但是其分辨率较高，成像质量也好
。
若能够将红外图像和
RGB
图像结合起来，这样就可以克服各自的局限性，提高图像的全面性和可用性
。
因此，亟需一种可以将红外图像和
RGB
图像有效融合在一起，获得更全面
、
更准确的图像数据
。

技术实现思路

[0003]本专利技术的目的在于，提供一种基于傅里叶卷积可见光和红外图像多尺度特征融合方法
。
本专利技术将红外图像和
RGB
图像有效融合在一起，获得更全面
、
更准确的图像数据
。
[0004]本专利技术的技术方案：基于傅里叶卷积可见光和红外图像多尺度特征融合方法，包括以下步骤：
[0005]A、
获取待融合的
RGB
图像和红外图像；
[0006]B、
通过多尺度特征提取器提取
RGB
图像和红外图像中的深层语义信息，得到具有深层语义信息的
RGB
图像和红外图像；
[0007]C、
通过快速傅里叶卷积模块对具有深层语义信息的
RGB
图像和红外图像进行多源信息融合处理，得到多源信息融合特征图；
[0008]D、
利用多尺度特征融合模块对多源信息融合特征图中不同层的特征进行融合，得到多尺度特征融合特征图；
[0009]E、
协方差池化模块采用全局协方差池化方式对多尺度特征融合特征图进行处理，得到综合融合的特征图
。
[0010]前述的基于傅里叶卷积可见光和红外图像多尺度特征融合方法中，快速傅里叶卷积模块进行多源信息融合处理的具体过程为：
[0011]C1、
将具有深层语义信息的
RGB
图像表示为其中
b
r
表示波段，
r
×
c
表示像素高和宽；将具有深层语义信息的红外图像表示为其中
b
i
表示波段，
r
×
c
表示像素高和宽；
[0012]C2、
使用快速傅里叶卷积模块将
X
r
和
X
i
沿通道维度显式分解，
[0013]包括高频分支
H
到高频分支
H
映射的特征图
Y
lH
→
H
、
高频分支
H
到低频分支
L
映射的特
征图
Y
lH
→
L
、
低频分支
L
到高频分支
H
映射的特征图
Y
hL
→
H
、
低频分支
L
到低频分支
L
映射的特征图
Y
hL
→
L
；
[0014]C3、
将
Y
lH
→
H
与
Y
hL
→
H
串联
、
将
Y
lH
→
L
与
Y
hL
→
L
串联，得到两个串联特征图其中
H
×
W、C
分别表示空间分辨率和通道数；
[0015]C4、
快速傅里叶卷积模块沿着特征通道的维度拆分串联特征图
X
，即拆分为
X
＝
{X
l
，
X
g
}
；其中，局部部分用于从局部邻域学习，全局部分用于捕获远程上下文，
α
in
∈[0
，
1]表示分配给全局部分的特征通道的百分比；
[0016]C5、
用作为输出张量，令
Y
＝
{Y
l
，
Y
g
}
，并用公式
1)
进行更新，
[0017][0018]C6、
采用3×3卷积对
Y
l
和
Y
g
进行卷积处理后，将两者融合，得到输出张量
Y
，即多源信息融合特征图；
[0019]前述的基于傅里叶卷积可见光和红外图像多尺度特征融合方法中，多尺度特征融合模块的具体处理过程为：通过多个相互串联的瓶颈块对多源信息融合特征图依次进行瓶颈处理，得到多尺度特征融合特征图；
[0020]所述瓶颈块的卷积窗口移动步幅包括1和2两种模式；当瓶颈块的卷积窗口移动步幅为1时，瓶颈块首先使用1×1卷积处理，在通过深度卷积进行特征提取，最后通过点卷积处理；当瓶颈块的卷积窗口移动步幅为2时，瓶颈块先使用1×1卷积处理，再使用多尺度卷积进行特征提取，最后进行点卷积处理
。
[0021]前述的基于傅里叶卷积可见光和红外图像多尺度特征融合方法中，所述多尺度卷积的具体处理过程为：将输入的特征映射图根据通道平均分为
s
组；然后使用3×3卷积从第一组的输入的特征映射图中提取特征；将第一组的提取特征输出发送到第二组，并添加到第二组的输入中，并将添加的结果发送到第二组的3×3卷积；重复上述步骤，直到处理完最后一组的特征映射；最后，将所有的提取特征输出按照信道进行拼接，并进行1×1的点向卷积进行信息融合
。
[0022]前述的基于傅里叶卷积可见光和红外图像多尺度特征融合方法中，协方差池化模块的具体处理过程为：
[0023]E1、
先将大小为
h
×
w
×
d
的多尺度特征融合特征图转换为大小为
n
×
d
的特征映射图，其中
n
＝
h
×
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于傅里叶卷积可见光和红外图像多尺度特征融合方法，其特征在于，包括以下步骤：
A、
获取待融合的
RGB
图像和红外图像；
B、
通过多尺度特征提取器提取
RGB
图像和红外图像中的深层语义信息，得到具有深层语义信息的
RGB
图像和红外图像；
C、
通过快速傅里叶卷积模块对具有深层语义信息的
RGB
图像和红外图像进行多源信息融合处理，得到多源信息融合特征图；
D、
利用多尺度特征融合模块对多源信息融合特征图中不同层的特征进行融合，得到多尺度特征融合特征图；
E、
协方差池化模块采用全局协方差池化方式对多尺度特征融合特征图进行处理，得到综合融合的特征图
。2.
根据权利要求1所述的基于傅里叶卷积可见光和红外图像多尺度特征融合方法，其特征在于，快速傅里叶卷积模块进行多源信息融合处理的具体过程为：
C1、
将具有深层语义信息的
RGB
图像表示为其中
b
r
表示波段，
r
×
c
表示像素高和宽；将具有深层语义信息的红外图像表示为其中
b
i
表示波段，
r
×
c
表示像素高和宽；
C2、
使用快速傅里叶卷积模块将
X
r
和
X
i
沿通道维度显式分解，包括高频分支
H
到高频分支
H
映射的特征图
Y
lH
→
H
、
高频分支
H
到低频分支
L
映射的特征图
Y
lH
→
L
、
低频分支
L
到高频分支
H
映射的特征图
Y
hL
→
H
、
低频分支
L
到低频分支
L
映射的特征图
Y
hL
→
L
；
C3、
将
Y
lH
→
H
与
Y
hL
→
H
串联
、
将
Y
lH
→
L
与
Y
hL
→
L
串联，得到两个串联特征图其中
H
×
W、C
分别表示空间分辨率和通道数；
C4、
快速傅里叶卷积模块沿着特征通道的维度拆分串联特征图
X
，即拆分为
X
＝
{X
l
，
X
g
}
；其中，局部部分用于从局部邻域学习，全局部分用于捕获远程上下文，
α
in
∈[0
，
1]
表示分配给全局部分的特征通道的百分比；
C5、
用作为输出张量，令
Y
＝
{Y
l
，
Y
g
}
，并用公式
1)
进行更新，
Y
l
＝
Y
l
→
l
+Y
g
→
l
＝
f
l
(X
l
)+f
g
→
l
(X
g
)Y
g
＝
Y
g
→
g
+Y
l
→
g
＝
f
g
(X
g
)+f
l

【专利技术属性】
技术研发人员：程文明，陈国强，魏振兴，张国财，唐长华，
申请(专利权)人：浙江航天润博测控技术有限公司，
类型：发明
国别省市：