一种基于ResNet的红外与可见光图像融合方法技术

本发明专利技术公开一种基于ResNet的红外与可见光图像融合方法，包括：将源图分解成基础部分和细节部分，基础部分使用平均权重策略进行融合，生成新的基础部分；使用ResNet152对细节部分进行特征提取，得到多个特征层，对特征层分别进行L1正则化、卷积运算、双线性插值上采样和最大选择策略得到最大权重层，由最大权重层和细节部分相乘得到新的细节部分；最后由新的基础部分和细节部分对图像进行重建；该方法在保留图像显著特征的同时使融合图像获得了更多的纹理信息，且有效降低了伪影和噪声。

An Infrared and Visible Image Fusion Method Based on ResNet

【技术实现步骤摘要】
一种基于ResNet的红外与可见光图像融合方法
本专利技术涉及红外与可见光图像融合领域，更具体的说是涉及一种基于ResNet网络的简单高效的红外与可见光图像融合方法。
技术介绍
图像融合是一种图像增强技术，目的是结合不同类型传感器捕捉到的信息生成内容更加丰富，细节更加清晰的图像，以便为后续处理和决策提供帮助。红外线和可见光的信号来自不同的模式，红外图像捕获的是热辐射信息，而可见光图像捕获的是光信息，它们的组合信息比使用各自单独的模式得到的信息更丰富。可见光图像具有较高的空间分辨率和细腻的纹理信息，但易被弱光照、雾和其它恶劣天气条件所干扰；红外图像能够抵抗这些干扰，但分辨率较低，纹理较差。因此，对红外线与可见光图像的融合可以做到信息互补。目前，有关红外线和可见光图像融合方法主要有：基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法。多尺度变换方法在红外与可见光图像融合中应用广泛。Huang等人提出了一种基于曲线变换和视觉注意机制的红外可见光图像融合方法，其模型可以提高融合图像的信噪比，突出模糊目标。Zhu等人提出了一种改进的多尺度高帽变换模型的红外可见光图像融合方法，该模型能本文档来自技高网...

【技术保护点】
1.一种基于ResNet的红外与可见光图像融合方法，其特征在于，包括：S1：基础部分融合，使用平均权重策略对基础部分进行融合，具体为可见光图像的基础部分乘以其相应的权重系数的值与红外线图像的基础部分乘以其相应的权重系数的值相加即为融合后新的基础部分；S2：细节部分融合，先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像；S3：图像重建，获得了融合后的基础部分和细节部分后，将二者相加即可得到最后的融合图像。

【技术特征摘要】
1.一种基于ResNet的红外与可见光图像融合方法，其特征在于，包括：S1：基础部分融合，使用平均权重策略对基础部分进行融合，具体为可见光图像的基础部分乘以其相应的权重系数的值与红外线图像的基础部分乘以其相应的权重系数的值相加即为融合后新的基础部分；S2：细节部分融合，先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像；S3：图像重建，获得了融合后的基础部分和细节部分...

【专利技术属性】
技术研发人员：张黎明，李恒，陈金萍，将美容，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：甘肃,62