一种可见光图像与红外图像的融合方法及其融合网络技术

本发明专利技术公开了一种可见光图像与红外图像的融合方法及其融合网络，所述融合方法通过将可见光图像与红外图像进行融合，整合两种图像的优点，在生成的融合图像中，不仅包括冰冷的背景信息，同时也显示存在热辐射的目标信息，以提高图像的识别效果。以提高图像的识别效果。以提高图像的识别效果。

【技术实现步骤摘要】
一种可见光图像与红外图像的融合方法及其融合网络


[0001]本专利技术公开涉及可见光图像与红外图像融合的
，尤其涉及一种可见光图像与红外图像的融合方法及其融合网络。

技术介绍

[0002]随着计算机视觉技术的发展，图像分割、目标检测等计算机算法层出不穷。单独的可见光图像并不能满足复杂的视觉任务的需求。在许多恶劣环境下，例如：充满烟雾的战场上，可见光图像仅可以反映周围的环境信息，但对于隐藏在烟雾中的士兵目标并不能在可见光图像中呈现。而红外图像虽然可以获得存在热辐射的物体信息，但对于冰冷的背景却无法显示。
[0003]因此，是否可以将可见光图像与红外图像进行融合，以整合两种图像的优点，提高图像的识别效果，成为人们亟待解决的问题。

技术实现思路

[0004]鉴于此，本专利技术提供了一种提供了可见光图像与红外图像的融合方法及其融合网络，以提高图像的识别效果。
[0005]一方面，本专利技术提供了一种可见光图像与红外图像的融合方法，该方法包括如下步骤：
[0006]将输入的可见光图像和红外图像分别进行1
×
1卷积处理后，再分别由自注意力卷积模块进行特征提取，获得第一可见光图像和第一红外图像；
[0007]将所述第一可见光图像和所述第一红外图像分别进行自注意力卷积处理后，获得第二可见光图像和第二红外图像；
[0008]将所述第一可见光图像和所述第二可见光图像进行多层次多模态信息融合后，获得第一可见光融合图像；
[0009]将所述第一红外图像和所述第二红外图像进行多层次多模态信息融合后，获得第一红外融合图像；
[0010]将所述第一可见光融合图像和所述第一红外融合图像分别由自注意力卷积模块进行特征提取后，获得第三可见光图像和第三红外图像；
[0011]将所述第三可见光图像和所述第三红外图像分别由自注意力卷积模块进行二次特征提取后，获得可见光第四图像和红外第四图像；
[0012]将所述可见光第三图像和所述可见光第四图像进行多层次多模态信息融合后，获得可见光第二融合图像；
[0013]将所述红外第三图像和所述红外第四图像进行多层次多模态信息融合后，获得红外第二融合图像；
[0014]将所述可见光第二融合图像和所述红外第二融合图像分别进行1
×
1卷积处理后，按通道拼接，获得拼接图像；
[0015]将所述拼接后图像进行3
×
3卷积处理后，再通过ReLU函数，获得第一处理图像；
[0016]将所述第一处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第二处理图像；
[0017]将所述第二处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第三处理图像；
[0018]将所述第三处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第四处理图像；
[0019]将所述第四处理图像进行1
×
1卷积处理后，再通过Tanh函数，获得第五处理图像；
[0020]将所述第五处理图像
×
255处理，最终获得融合图像。
[0021]优选，所述自注意力卷积模块进行特征提取，包括如下步骤：
[0022]将输入值进行3
×
3卷积处理后，再进行全局池化处理，获得初始1维向量；
[0023]利用sigmod函数对所述初始1维向量进行处理，获得处理后1维向量，且所述处理后1维向量中的值约束在[0
‑
1]；
[0024]将所述处理后1维向量与所述初始1维向量相乘，获得提取特征。
[0025]进一步优选，所述多层次多模态信息融合，包括如下步骤：
[0026]1)将红外的浅层特征和可见光的浅层特征进行融合，获得融合后的浅层特征；
[0027]2)利用融合后的浅层特征制作权重向量，具体公式如下：
[0028]w＝s(g(conv(F
low
)))；
[0029]式中，F
low
表示融合后的浅层特征，conv(
·
)表示1
×
1的卷积操作，用来平衡浅层特征和深层特征的尺度，g(
·
)表示全局平均池化，用以提取融合后的浅层特征的信息，s(
·
)表示sigmod函数，将提取的特征的值约束在[0
‑
1]之间，w表示得到的权重向量；
[0030]3)与深层特征进行逐元素相乘得到融合后的深层特征，具体公式如下：
[0031][0032]式中，表示逐通道相乘操作，表示和w相同尺寸的，每个元素都为1的向量，H
ir
为红外的深层特征，H
vis
为可见光深层特征，F
ir
为多层次、多模态融合后的红外光特征，F
vis
为多层次、多模态融合后的可见光特征。
[0033]另一方面，本专利技术还提供了一种可见光图像与红外图像的融合网络，该融合网络包括：第一1
×
1卷积层、第二1
×
1卷积层、第一注意力卷积模块、第二注意力卷积模块、第三注意力卷积模块、第四注意力卷积模块、第一多层次多模态信息融合模块、第五注意力卷积模块、第六注意力卷积模块、第七注意力卷积模块、第八注意力卷积模块、第二多层次多模态信息融合模块、第三1
×
1卷积层、第四1
×
1卷积层、拼接模块、四个第一卷积激活层、第二卷积激活层以及收放单元；
[0034]所述第一1
×
1卷积层和所述第二1
×
1卷积层并行设置，作为所述融合网络的两个输入口；
[0035]所述第一注意力卷积模块的输入端与所述第一1
×
1卷积层的输出端连接；
[0036]所述第二注意力卷积模块的输入端与所述第一注意力卷积模块的输出端连接；
[0037]所述第三注意力卷积模块的输入端与所述第二1
×
1卷积层的输出端连接；
[0038]所述第四注意力卷积模块的输入端与第三注意力卷积模块的输出端连接；
[0039]所述第一多层次多模态信息融合模块的输入端分别与所述第一注意力卷积模块的输出端、所述第二注意力卷积模块的输出端、所述第三注意力卷积模块的输出端以及所述第四注意力卷积模块的输出端连接，用于将所述第一注意力卷积模块的输出图像和所述
第二注意力卷积模块的输出图像进行融合获得第一图像，以及将所述第三注意力卷积模块输出的图像和所述第四注意力卷积模块输出的图像进行融合获得第二图像；
[0040]所述第五注意力卷积模块的输入端与所述第一多层次多模态信息融合模块的输出端连接，用于将所述第一多层次多模态信息融合模块输出的第一图像进行特征提取；
[0041]所述第六注意力卷积模块的输入端与所述第五注意力卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光图像与红外图像的融合方法，其特征在于，包括如下步骤：将输入的可见光图像和红外图像分别进行1
×
1卷积处理后，再分别由自注意力卷积模块进行特征提取，获得第一可见光图像和第一红外图像；将所述第一可见光图像和所述第一红外图像分别进行自注意力卷积处理后，获得第二可见光图像和第二红外图像；将所述第一可见光图像和所述第二可见光图像进行多层次多模态信息融合后，获得第一可见光融合图像；将所述第一红外图像和所述第二红外图像进行多层次多模态信息融合后，获得第一红外融合图像；将所述第一可见光融合图像和所述第一红外融合图像分别由自注意力卷积模块进行特征提取后，获得第三可见光图像和第三红外图像；将所述第三可见光图像和所述第三红外图像分别由自注意力卷积模块进行二次特征提取后，获得可见光第四图像和红外第四图像；将所述可见光第三图像和所述可见光第四图像进行多层次多模态信息融合后，获得可见光第二融合图像；将所述红外第三图像和所述红外第四图像进行多层次多模态信息融合后，获得红外第二融合图像；将所述可见光第二融合图像和所述红外第二融合图像分别进行1
×
1卷积处理后，按通道拼接，获得拼接图像；将所述拼接后图像进行3
×
3卷积处理后，再通过ReLU函数，获得第一处理图像；将所述第一处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第二处理图像；将所述第二处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第三处理图像；将所述第三处理图像进行3
×
3卷积处理后，再通过ReLU函数，获得第四处理图像；将所述第四处理图像进行1
×
1卷积处理后，再通过Tanh函数，获得第五处理图像；将所述第五处理图像
×
255处理，最终获得融合图像。2.根据权利要求1所述可见光图像与红外图像的融合方法，其特征在于，所述自注意力卷积模块进行特征提取，包括如下步骤：将输入值进行3
×
3卷积处理后，再进行全局池化处理，获得初始1维向量；利用sigmod函数对所述初始1维向量进行处理，获得处理后1维向量，且所述处理后1维向量中的值约束在[0
‑
1]；将所述处理后1维向量与所述初始1维向量相乘，获得提取特征。3.根据权利要求1所述可见光图像与红外图像的融合方法，其特征在于，所述多层次多模态信息融合，包括如下步骤：1)将红外的浅层特征和可见光的浅层特征进行融合，获得融合后的浅层特征；2)利用融合后的浅层特征制作权重向量，具体公式如下：w＝s(g(conv(F
low
)))；式中，F
low
表示融合后的浅层特征，conv(
·
)表示1
×
1的卷积操作，用来平衡浅层特征和深层特征的尺度，g(
·
)表示全局平均池化，用以提取融合后的浅层特征的信息，s(
·
)表示sigmod函数，将提取的特征的值约束在[0
‑
1]之间，w表示得到的权重向量；
3)与深层特征进行逐元素相乘得到融合后的深层特征，具体公式如下：式中，表示逐通道相乘操作，表示和w相同尺寸的，每个元素都为1的向量，H
ir
为红外的深层特征，H
vis
为可见光深层特征，F
ir
为多层次、多模态融合后的红外光特征，F
vis
为多层次、多模态融合后的可见光特征。4.一种可见光图像与红外图像的融合网络，其特征在于，包括：第一1
×
1卷积层、第二1
×
1卷积层、第一注意力卷积模块、第二注意力卷积模块、第三注意力卷积模块、第四注意力卷积模块、第一多层次多模态信息融合模块、第五注意力卷积模块、第六注意力卷积模块、第七注意力卷积模块、第八注意力卷积模块、第二多层次多模态信息融合模块、第三1
×
1卷积层、第四1
×
1卷积层、拼接模块、四个第一卷积激活层、第二卷积激活层以及收放单元；所述第一1
×
1卷积层和所述第二1
×
1卷积层并行设置，作为所述融合网络的两个输入口；所述第一注意力卷积模块的输入端与所述第一1
×
1卷积层的输出端连接；所述第二注意力卷积模块的输入端与所述第一注意力卷积模块的输出端连接；所述第三注意力卷积模块的输入端与所述第二1
×
1卷积层的输出端连接；所述第四注意力卷积模块的输入端与第三注意力卷积模块的输出端连接；所述第一多层次多模态信息融合模块的输入端分别与所述第一注意力卷积模块的输出端、所述第二注意力卷积模块的输出端、所述第三注意力卷积模块的输出端以及所述第四注意力卷积模块的输出端连接，用于将所述第一注意力卷积模块的输出图像和所述第二注意力卷积模块的输出图像进行融合获得第一图像，以及将所述第三注意力卷积模块输出的图像和所述第四注意力卷积模块输出的图像进行融合获得第二图像；所述第五注意力卷积模块的输入端与所述第一多层次多模态信息融合模块的输出端连接，用于将所述第一多层次多模态信息融合模块输出的第一图像进行特征提取；所述第六注意力卷积模块的输入端与所述第五注意...

【专利技术属性】
技术研发人员：王传云，孙冬冬，高骞，王琳霖，颜卓，张亚娟，王尔申，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：