一种通用型多模态图像融合方法及装置制造方法及图纸

本发明专利技术涉及一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像

【技术实现步骤摘要】
一种通用型多模态图像融合方法及装置


[0001]本专利技术涉及图像处理
，具体涉及一种通用型多模态图像融合方法及装置
。

技术介绍

[0002]随着传感器技术的迅速发展，利用不同类型传感器进行信息采集
、
传输和处理的能力也日渐增强
。
由于不同类型传感器的成像机制存在差异，单一模态下的图像往往无法提供高级视觉任务所需的全面信息
。
多模态图像融合技术可以将不同模态图像的信息进行整合，以弥补单一模态信息表征不足的局限性，从而有效提升多传感器高级视觉任务的性能
。
目前，多模态图像融合技术得到越来越多关注，其在多传感器探测下的智能交通监控
、
医学图像分析
、
无人机灾情检测等领域具有重大的应用价值
。
[0003]多模态图像融合技术旨在将不同成像模式下捕获的源图像进行信息整合，从而生成信息更丰富
、
更全面的高质量综合图像
。
根据成像设备或设置的不同，图像融合任务主要包括：红外与可见光图像融合
、
医学图像融合
、
多聚焦图像融合及多曝光图像融合等
。
现有融合方法往往针对特定融合任务而设计，而不同融合任务的模型难统一，难迁移到其他融合任务，导致融合网络缺乏泛化性
。
[0004]早期多模态图像融合研究大多采用基于多尺度变换方法
、
基于稀疏表示方法
、
基于显著性的方法和基于子空间的方法等对不同模态图像进行整合
。
近年来，受深度学习技术在图像处理领域上出色表现的启发，基于深度学习方法已成为图像融合任务中主流的研究方向
。
尽管深度学习方法对多模态图像融合任务产生了积极的影响，但仍存在不足之处
。
其一，基于深度学习的多模态图像融合方法通常由特征提取
、
融合策略
、
特征重建三部分构成，而融合结果严重依赖于融合策略的设计，由于不同融合任务的图像信息不同，导致同一融合策略对不同融合任务的融合效果有所差异
。
其二，基于深度学习的多模态图像融合方法常采用平均池化
、
最大池化等下采样操作以实现多尺度特征提取，而这些下采样操作易损坏或丢失源图像基本结构，且这些下采样操作仅侧重于低频分量的传递，忽略了高频分量的感知
。
其三，多模态图像融合任务通常采用多重约束损失函数来保留源图像的固有特征，而基于多重约束的损失函数需要使用超参数来平衡不同的损失，然而，不同融合任务对超参数需求不同，特定超参数难以在不同融合任务中实现令人满意的融合效果
。

技术实现思路

[0005]本专利技术的目的在于克服以上不足之处，提供一种通用型多模态图像融合方法，该方法通过设计多尺度
Transformer
编
‑
解码器网络，利用
Transformer
与小波下采样构建的编码器提取多尺度特征，采用
Transformer
与上采样构建的解码器重建特征，使得此方法无需融合策略便能整合不同模态信息，避免了因依赖融合策略造成的不同融合任务的效果差异，更适用于多种类型的融合任务，提升了图像融合方法的实用性和泛化性
。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一方面提供了一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像
、
基于编码器网络将所述初始图像进行特征提取得到多尺度特征和基于解码器网络将所述多尺度特征进行特征重建得到融合图像，所述编码器网络包括
i+1
个依次连接的
Transformer
模块，且所述前
i
个
Transformer
模块后均连接有小波下采样模块，其中，
i∈{1,2,3,4}
，其具体为：
[0008]所述编码器网络的第
i
个
Transformer
模块用于得到卷积特征
F
i
；
[0009]所述编码器网络的第
i
个小波下采样模块用于得到下采样特征
[0010]所述解码器网络包括
i
个依次连接的上采样模块，且每个所述上采样模块后均连接有
Transformer
模块，其具体为：
[0011]所述解码器网络的第
i
个上采样模块用于得到上采样特征
[0012]所述解码器网络的第
i
个
Transformer
模块用于将上采样特征卷积特征
F
i
、
下采样特征沿通道拼接后作为输入得到重建特征
F
R
‑
i
。
[0013]另一方面提供了一种通用型多模态图像融合系统，所述融合系统包括至少一个处理器；以及存储器，其存储有指令，当通过至少一个处理器来执行该指令时，实施按照前述的方法的步骤
。
[0014]本专利技术的有益效果在于，避免了对融合策略的依赖，更适合于不同的多模态图像融合任务，充分保留了源图像的低频结构，并加强了高频信息的感知，可以弥补单一模态信息表征不足的局限性，实现高质量多模态图像融合效果，增加图像融合方法的实用性和泛化性
。
附图说明
[0015]图1是本专利技术中融合系统的示意图；
[0016]图2是本专利技术中融合方法流程的示意图；
[0017]图3是本专利技术中图像融合流程的示意图；
[0018]图4是本专利技术中小波下采样流程的示意图；
[0019]图5是本专利技术中
Transformer
流程的示意图；
[0020]图6是本专利技术中局部增强前馈网络的流程示意图；
[0021]图7是本专利技术中红外与可见光图像融合结果的示意图；
[0022]图8是本专利技术中医学图像融合结果的示意图；
[0023]图9是本专利技术中多聚焦图像融合结果的示意图；
[0024]图
10
是本专利技术中多曝光图像融合结果的示意图
。
具体实施方式
[0025]下面将结合本专利技术的附图及实施方式，对本专利技术的技术方案进行清楚
、
完整地描述
。
[0026]本专利技术的一些实施方式涉及一种通用型多模态图像融合系统，如图1所示，所述融合系统1包括至少一个处理器2；以及存储器3，其存储有指令，当通过至少一个处理器2来执
行该指令时，用于实施以下方法实施方式中的所有步骤
。
[0027]在一些通用型多模态图像融合方法实施方式中，包括基于预处理网络将同一场景下精配准的多模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像
、
基于编码器网络将所述初始图像进行特征提取得到多尺度特征和基于解码器网络将所述多尺度特征进行特征重建得到融合图像，其特征在于，所述编码器网络包括
i+1
个依次连接的
Transformer
模块，且所述前
i
个
Transformer
模块后均连接有小波下采样模块，其中，
i∈{1,2,3,4}
，其具体为：所述编码器网络的第
i
个
Transformer
模块用于得到卷积特征
F
i
；所述编码器网络的第
i
个小波下采样模块用于得到下采样特征所述解码器网络包括
i
个依次连接的上采样模块，且每个所述上采样模块后均连接有
Transformer
模块，其具体为：所述解码器网络的第
i
个上采样模块用于得到上采样特征所述解码器网络的第
i
个
Transformer
模块用于将上采样特征卷积特征
F
i
、
下采样特征沿通道拼接后作为输入得到重建特征
F
R
‑
i
。2.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述编码器网络还包括：第一卷积模块，用于获取初始图像后得到初始特征
F0。3.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述解码器网络还包括：第二卷积模块，用于获取所述重建特征
F
R
‑1后得到融合图像
。4.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述
Transformer
模块的具体表达式如式
(1
‑
1)
和
(1
‑
2)
所示：所示：其中，
Q、K、V
分别表示查询矩阵
、
键矩阵和值矩阵；
W
‑
...

【专利技术属性】
技术研发人员：李艳凤，李晓玲，陈后金，孙嘉，陈紫微，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：