一种红外与可见光图像融合方法技术

本发明专利技术涉及一种红外与可见光图像融合方法，将多对红外、可见光源图像对裁剪处理得到多组对应图像对；将生成器输出的初步融合图像及裁剪后的可见光图像分别输入至判别器中，输出对应的单一可能性判别值；将融合图像与输入源图像间生成器损失及融合图像与可见光图像间的判别器损失相结合优化生成器，并通过反向传播调整生成器网络权重值及偏置值；利用融合图像及可见光图像间判别器损失优化判别器，将可见光图像的其他细节信息添加到融合图像中；经多次迭代训练得到性能稳定的网络模型；将多对未裁剪的源图像对分别输入至训练后的生成器网络可得到对应融合图像。本发明专利技术能有效提升融合图像质量及视觉信息保真度。

【技术实现步骤摘要】
一种红外与可见光图像融合方法
本专利技术属于图像融合
，具体涉及一种红外与可见光图像融合的方法，其基于生成对抗网络(GAN)及残差网络(ResNet)实现。
技术介绍
红外图像的灰度由目标与背景的温差决定，可以穿透烟雾、尘埃及大气，在环境条件较差时，仍具有较强的探测能力，但图像的对比度及空间分辨率较低。可见光图像空间分辨率较高，目标纹理细节清晰，但光照条件较差时无法保证成像质量。若将红外与可见光图像融合可综合利用红外图像的目标指示特性及可见光图像的场景细节信息，有利于探测隐藏目标、增加对图像的理解力、实现全天候监测。因此，许多学者致力于红外与可见光图像融合方面的研究。传统的红外与可见光图像融合方法包括空间域方法、多尺度变换方法、稀疏表示方法以及显著性方法等。上述传统方法虽较为成熟，应用广泛，但实现时需要人为手动设计活动水平测量及融合规则，同时大部分方法涉及复杂的分解变换，以上问题极大地制约了传统红外与可见光图像融合方法的发展。近几年，深度学习的研究逐步深入，并在计算机视觉、模式识别及图像处理等领域取得重要突破。目前，生成对本文档来自技高网...

【技术保护点】
1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：/nS1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；/nS2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；/nS3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直...

【技术特征摘要】
1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；
S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。


2.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像，实现数据扩增。


3.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块...

【专利技术属性】
技术研发人员：徐东东，张宁，张欣，王永成，肖辉，贲广利，胡雪岩，钱进，罗佺佺，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22