【技术实现步骤摘要】
一种通用型多模态图像融合方法及装置
[0001]本专利技术涉及图像处理
，具体涉及一种通用型多模态图像融合方法及装置
。
技术介绍
[0002]随着传感器技术的迅速发展，利用不同类型传感器进行信息采集
、
传输和处理的能力也日渐增强
。
由于不同类型传感器的成像机制存在差异，单一模态下的图像往往无法提供高级视觉任务所需的全面信息
。
多模态图像融合技术可以将不同模态图像的信息进行整合，以弥补单一模态信息表征不足的局限性，从而有效提升多传感器高级视觉任务的性能
。
目前，多模态图像融合技术得到越来越多关注，其在多传感器探测下的智能交通监控
、
医学图像分析
、
无人机灾情检测等领域具有重大的应用价值
。
[0003]多模态图像融合技术旨在将不同成像模式下捕获的源图像进行信息整合，从而生成信息更丰富
、
更全面的高质量综合图像
。
根据成像设备或设置的不同，图像融合任务主要...
【技术保护点】
【技术特征摘要】
1.
一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像
、
基于编码器网络将所述初始图像进行特征提取得到多尺度特征和基于解码器网络将所述多尺度特征进行特征重建得到融合图像，其特征在于，所述编码器网络包括
i+1
个依次连接的
Transformer
模块，且所述前
i
个
Transformer
模块后均连接有小波下采样模块，其中，
i∈{1,2,3,4}
，其具体为：所述编码器网络的第
i
个
Transformer
模块用于得到卷积特征
F
i
；所述编码器网络的第
i
个小波下采样模块用于得到下采样特征所述解码器网络包括
i
个依次连接的上采样模块，且每个所述上采样模块后均连接有
Transformer
模块，其具体为：所述解码器网络的第
i
个上采样模块用于得到上采样特征所述解码器网络的第
i
个
Transformer
模块用于将上采样特征卷积特征
F
i
、
下采样特征沿通道拼接后作为输入得到重建特征
F
R
‑
i
。2.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述编码器网络还包括：第一卷积模块，用于获取初始图像后得到初始特征
F0。3.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述解码器网络还包括：第二卷积模块，用于获取所述重建特征
F
R
‑1后得到融合图像
。4.
根据权利要求1所述的一种通用型多模态图像融合方法，其特征在于，所述
Transformer
模块的具体表达式如式
(1
‑
1)
和
(1
‑
2)
所示：所示：其中，
Q、K、V
分别表示查询矩阵
、
键矩阵和值矩阵；
W
‑
...
【专利技术属性】
技术研发人员：李艳凤，李晓玲，陈后金，孙嘉，陈紫微，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。