一种聚焦于多模态图像固有特性的红外与可见光图像融合方法技术

本发明专利技术属于图像处理领域，具体涉及一种聚焦于多模态图像固有特性的红外与可见光图像融合方法；所述方法包括获取目标图像的红外图像和可见光图像；将目标图像的红外图像和可见光图像输入特征提取器中，提取出红外图像的特征图和可见光图像的特征图；将红外图像的特征图和可见光图像的特征图使用基于红外与可见光图像融合特点改进的通道注意力模块处理，采用全局梯度方式得到通道注意力的初始权重。红外图像的特征和可见光图像的特征会送到特征判别器加强提取的特征对固定模态信息的表达能力；红外图像的最终特征和可见光图像的最终特征输入到重构网络中，生成目标图像的图像融合图像。本发明专利技术能够更好的关注于红外和可见光图像的细节信息；生成的融合图像细节丰富且符合人类的视觉感知。合人类的视觉感知。合人类的视觉感知。

【技术实现步骤摘要】
一种聚焦于多模态图像固有特性的红外与可见光图像融合方法


[0001]本专利技术属于图像处理领域，具体涉及一种聚焦于多模态图像固有特性的红外与可见光图像融合方法。

技术介绍

[0002]目前，图像融合技术已广泛应用于多个领域。例如，在临床诊断中，将电子计算机断层扫描(CT)及核磁共振(MR)影像中重要信息进行融合，可减小精确诊断的难度；在数字摄影中，将不同曝光程度图像或不同焦点图像融合，可提供更为清晰与逼真的数字图像；在遥感图像处理中，将全色(PAN)图像与多光谱(MS)图像融合，可得到空间分辨率较高且光谱内容丰富的融合图像；在目标探测或监控或跟踪中，为实现系统全天候工作，将红外与可见光图像进行融合，红外目标强度及可见细节能够很好地保留在融合图像中，易于观察。
[0003]一直以来，很多学者都致力于红外与可见光图像融合技术的研究，这也是图像融合领域研究热点之一，并取得了长足的进步。通过光学和红外传感器获得的可见光与红外图像从两个不同的角度出发描述场景信息，二者之间存在明显的差异。光学图像通过反射机理捕获图像，由于光照良好，可见光图像具有较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚焦于多模态图像固有特性的红外与可见光图像融合方法，其特征在于，所述方法包括：获取目标图像的红外图像和可见光图像；将目标图像的红外图像和可见光图像输入特征提取器中，提取出红外图像的特征图和可见光图像的特征图；将红外图像的特征图和可见光图像的特征图使用通道注意力模块处理，采用全局梯度方式得到红外图像的最终特征和可见光图像的最终特征；将红外图像的最终特征和可见光图像的最终特征输入到重构网络中，生成目标图像的图像融合图像。2.根据权利要求1所述的一种聚焦于多模态图像固有特性的红外与可见光图像融合方法，其特征在于，所述提取出红外图像的特征图和可见光图像的特征图之后还包括分别将红外图像i的特征图和可见光图像j的特征图进行卷积操作得到D个特征图，对红外图像i的D个特征图和可见光图像j的D个特征图分别进行线性操作得到D维度向量，也即向量a
iD
、a
jD
，对向量a
iD
、a
jD
进行复制，依次得到向量b
iD
和b
jD
；将b
iD
和b
jD
进行转置后与a
iD
、a
jD
对应相乘后，得到互注意力权重矩阵；根据所述互注意力权重矩阵重新编码得到红外图像i和可见光图像j的特征图。3.根据权利要求2所述的一种聚焦于多模态图像固有特性的红外与可见光图像融合方法，其特征在于，所述互注意力权重矩阵的计算公式表示为：其中，W
ij
表示红外图像i的特征图和可见光图像j的特征图之间的互注意力权重；表示红外图像i的特征图的第d维向量；表示可见光图像j的第d维向量；T表示矩阵转置。4.根据权利要求2所述的一种聚焦于多模态图像固有特性的红外与可见光图像融合方法，其特征在于，所述根据所述互注意力权重矩阵重新编码的公式表...

【专利技术属性】
技术研发人员：尚凤军，潘哲，文笳宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：