一种红外与可见光图像融合方法技术

本发明专利技术涉及一种红外与可见光图像融合方法，将多对红外、可见光源图像对裁剪处理得到多组对应图像对；将生成器输出的初步融合图像及裁剪后的可见光图像分别输入至判别器中，输出对应的单一可能性判别值；将融合图像与输入源图像间生成器损失及融合图像与可见光图像间的判别器损失相结合优化生成器，并通过反向传播调整生成器网络权重值及偏置值；利用融合图像及可见光图像间判别器损失优化判别器，将可见光图像的其他细节信息添加到融合图像中；经多次迭代训练得到性能稳定的网络模型；将多对未裁剪的源图像对分别输入至训练后的生成器网络可得到对应融合图像。本发明专利技术能有效提升融合图像质量及视觉信息保真度。

【技术实现步骤摘要】
一种红外与可见光图像融合方法
本专利技术属于图像融合
，具体涉及一种红外与可见光图像融合的方法，其基于生成对抗网络(GAN)及残差网络(ResNet)实现。
技术介绍
红外图像的灰度由目标与背景的温差决定，可以穿透烟雾、尘埃及大气，在环境条件较差时，仍具有较强的探测能力，但图像的对比度及空间分辨率较低。可见光图像空间分辨率较高，目标纹理细节清晰，但光照条件较差时无法保证成像质量。若将红外与可见光图像融合可综合利用红外图像的目标指示特性及可见光图像的场景细节信息，有利于探测隐藏目标、增加对图像的理解力、实现全天候监测。因此，许多学者致力于红外与可见光图像融合方面的研究。传统的红外与可见光图像融合方法包括空间域方法、多尺度变换方法、稀疏表示方法以及显著性方法等。上述传统方法虽较为成熟，应用广泛，但实现时需要人为手动设计活动水平测量及融合规则，同时大部分方法涉及复杂的分解变换，以上问题极大地制约了传统红外与可见光图像融合方法的发展。近几年，深度学习的研究逐步深入，并在计算机视觉、模式识别及图像处理等领域取得重要突破。目前，生成对抗网络及残差网络已成功应用于图像分类、检测及重构中，均取得较好成果。但是，迄今为止未见将生成对抗网络及残差网络相结合实现红外与可见光图像融合的相关研究。
技术实现思路
本专利技术的目的在于提供一种红外与可见光图像融合方法，其基于深度学习中的生成对抗网络及残差网络实现，能有效提升融合图像质量及视觉信息保真度，克服了传统需要手动设计复杂的活动水平测量及融合规则，且涉及复杂的变换及分解操作等缺点。本专利技术的目的是通过以下技术方案实现的：一种红外与可见光图像融合方法，包括以下步骤：S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。作为本专利技术更优的技术方案，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像。作为本专利技术更优的技术方案，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块；最后采用卷积层，输出单通道、同尺寸的融合图像。作为本专利技术更优的技术方案，所述的步骤2具体为：首先采用卷积层对输入的融合图像或者可见光图像提取初步特征，接着连续采用多个卷积层不断缩小特征图尺寸同时增加特征图通道数；然后将输出特征图的所有点变换成单一矢量；最后通过线性相乘，输出单一可能性判别值。作为本专利技术更优的技术方案，所述的步骤S3中的优化生成器是通过优化生成器损失函数完成的，所述生成器损失函数(LG)如下所示：LG＝LAdv+δLCon其中，LAdv为对抗损失，LCon为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，H和W分别为图像的高度和宽度，||～||F为F范数，为梯度计算，γ1,γ2,γ3,和γ4为各项系数。作为本专利技术更优的技术方案，所述的步骤S3中的优化判别器损失是通过优化判别器损失函数完成的，所述判别器损失(LD)函数如下所示：其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。与现有技术相比，本专利技术有益效果在于：1、在高性能GPU服务器上进行训练与测试，大幅提高运算效率；2、生成器中加入残差网络及跳跃连接，可获取并保留更多源图像信息，生成的融合图像与源图像相似度更高；3、在损失函数设计时，将生成器损失细化为对抗损失及内容损失，内容损失的引入保证红外图像强度、梯度信息及可见光图像的强度、梯度信息更好地被添加到融合图像中；4、在测试时，输入源图像对可以为任意大小，网络泛化能力较强。本专利技术基于深度学习的方法，无需人工手动设计复杂的活动水平测量方法及融合规则，通过训练多层网络自动提取图像特征并融合，融合过程更为简洁与智能化，能有效提升融合图像质量及视觉信息保真度。附图说明图1是本专利技术的具体实施步骤的流程图；图2是本专利技术实施例1中生成器网络结构模型图；图3是本专利技术实施例1中判别器网络结构模型图；图4是本专利技术实施例1中残差块的结构介绍示意图；图5是本专利技术实施例1中训练及测试过程示意图；图6a-图6k是本专利技术实施例1中对数据集中“Marne_04”图像对的融合结果与其他方法的结果比较图。具体实施方式下面结合附图和实施例对本专利技术做进一步详细说明。如图1所示，本专利技术通过设计合适的网络结构及损失函数，将生成对抗网络及残差网络相结合实现红外与可见光图像融合，包括以下步骤：S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。在一些实施例中，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像。在一些实施例中，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具本文档来自技高网...

【技术保护点】
1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：/nS1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；/nS2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；/nS3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；/nS4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。/n

【技术特征摘要】
1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；
S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；
S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；
S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。


2.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像，实现数据扩增。


3.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块...

【专利技术属性】
技术研发人员：徐东东，张宁，张欣，王永成，肖辉，贲广利，胡雪岩，钱进，罗佺佺，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林;22