一种基于改进的DDcGAN模型的图像融合方法技术

本发明专利技术公开了一种基于改进的DDcGAN模型的图像融合方法，引入了残差图像作为生成器的输入，且增加了残差图像判别器，不断地对原始残差图像和融合图像进行判别，我们的融合过程更好的保留了红外和可见光图像有差异的部分，在融合图像中表现为：红外图像的热辐射信息得到了保留和增强，物体与背景之间的对比度高于红外图像中的原始对比度，这更有利于后续的目标检测；可见光图像中的纹理细节得到了更大程度的保留，这同样对后续的目标检测和识别精度的提高有很大益处；由于生成器的损失函数部分引入了感知损失以考虑感知相似度，可以同时提取到红外图像与可见光图像中的高级特征，这使得融合图像的自然结构不会被破坏。

【技术实现步骤摘要】
一种基于改进的DDcGAN模型的图像融合方法
本专利技术涉及图像融合
，具体涉及一种基于改进的DDcGAN模型的图像融合方法。
技术介绍
图像融合，目的是将更多自然环境中的信息呈现在同一幅图像中，尽可能地展现与物体固有真实情况相似的结果。红外与可见光图像融合的目的是，将红外传感器捕获到的红外辐射图像与可见光传感器捕获到的可见光图像相融合，生成稳健或信息丰富的图像，同时获取红外辐射信息和纹理特征信息。其中红外图像包含热辐射信息，而可见光图像包含反射光信息，两者都是物体固有的，又可互为补充，更好的表达真实的场景，大幅提高了图像的可理解度，即使在照明条件差的情况下，热目标也可以通过高对比度突出显示。因此，红外与可见光图像融合在军事和民用的视觉感知、图像处理、目标检测和识别等领域发挥着重要作用。图像融合的关键是提取源图像中的重要信息并进行融合。为此，研究人员提出了多种特征提取策略和融合规则，如基于多尺度变换的方法、稀疏表示方法、子空间、显著性、混合方法等。这些工作虽然取得了良好的效果，但也存在一些不足之处：1)在传统方法中，手工设计的规则使得方法越来越复杂。2)基于深度学习的方法专注于特征的提取和保存，而没有考虑到特征在后续处理和应用中的增强。3)由于硬件的限制，红外图像的分辨率往往较低。对可见光图像进行下采样或对红外图像进行上采样的方法会导致图像的辐射信息模糊或纹理细节丢失。为了应对上述问题，DDcGAN(DualDiscriminatorsConditionalGenerativeAdversarialNetwork)应运而生，其是由马佳义等人于2020年正式提出的，发表于https://ieeexplore.ieee.org/document/9031751，然而，其所采用的对训练集图像随机的分块的方式很可能会破坏图像的特征，即连续的详细纹理信息和热辐射分布信息。而且，对于低分辨率的红外图像，这种方法依然会导致图像细节丢失。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术提供一种基于改进的DDcGAN模型的图像融合方法，该方法解决了现有技术存在的红外与可见光图像融合图像目标不够突出，纹理信息不够丰富的问题。技术方案：本专利技术提出基于改进的DDcGAN模型的图像融合方法，包括训练阶段和测试阶段，所述训练阶段包括以下步骤：(1)提取训练数据集中各个待处理图片对应的原始红外图像和原始可见光图像，判断所述原始红外图像和原始可见光图像的分辨率是否相同，若相同，则直接进入步骤3，否则，进入步骤2；(2)将所述原始红外图像经过一层反卷积层处理，得到使其与可见光图像分辨率相同的红外图像，将处理后的红外图像和可见光图像做像素差，得到对应数据的残差图像后，转到步骤4；(3)将原始红外图像和可见光图像做像素差，得到对应数据的残差图像，转到步骤4后；(4)将原始红外图像、原始可见光图像以及残差图像进行张量拼接，并将输出输入到生成器中得到融合图像；若待处理图片对应的红外图像和可见光图像的分辨率相同，则转到步骤6，否则，转到步骤5；(5)将步骤4得到的融合图像利用平均池化层进行下采样操作，得到采样后的融合图像，与原始红外图像轮流输入至红外判别器，将未经过下采样的融合图像与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；(6)将步骤4得到的融合图像与原始红外图像轮流输入至红外判别器、与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；(7)训练过程使生成器的损失函数、各个判别器的损失函数尽量小，迭代步骤1-6直至训练到设置的迭代次数，从而得到训练好的改进的DDcGAN网络模型；测试阶段将测试集中的原始红外图像和原始可见光图像输入到改进的DDcGAN网络模型中，得到各个测试数据的融合图像。进一步的，包括：所述红外判别器、可见光判别器以及残差判别器的结构相同，均包括三个卷积层和批标准化层的累积，最后一个批标准化层的输出作为全连接层的输入，全连接层的输出经过一个tanh激活函数，最终输出一个标量。进一步的，包括：所述生成器包括编码器和解码器，所述编码器包括为5个卷积模块组成，每个卷积模块依次包括卷积层、批标准化层和线性整流单元，其中，每一个卷积层的输入，都是前面所有线性整流函数的输出的通道连接，最后，将五个线性整流单元的输出进行连接送入解码器，解码器为四个卷积层、批标准化、线性整流单元这一结构的累积，将最后一个线性整流函数的输出送入卷积层、批标准化和tanh函数这一结构，最后输出融合图像。进一步的，包括：所述生成器的损失函数包括内容损失函数、对抗损失函数以及感知损失函数，表示为：其中，为对抗损失函数，Lcon为内容损失函数，LVGG为感知损失函数，μ为对抗损失对应的权重，λ为内容损失函数对应的权重。进一步的，包括：所述各个判别器的损失函数分别表示为：可见光判别器的损失函数：其中，E[]为对括号中内容求期望值，代表可见光图像的梯度，代表融合图像的梯度，为输入可见光判别器的可见光图像为真实可见光图像的概率，为输入可见光判别器的融合图像为真实可见光图像的概率。红外判别器的损失函数：其中，Di(i)为输入红外判别器的红外图像为真实红外图像的概率，Di(G(v，i))为输入红外判别器的融合图像为真实红外图像的概率。残差判别器的损失函数：其中，Dd(d)为输入残差判别器的残差图像为真实残差图像的概率，Dd(G(v，i))为输入残差判别器的融合图像为真实残差图像的概率。进一步的，包括：所述原始红外图像和原始可见光图像的分辨率不同时，各个判别器的损失函数分别表示为：可见光判别器的损失函数：其中，E[]为对括号中内容求期望值，代表可见光图像的梯度，代表融合图像的梯度，为输入可见光判别器的可见光图像为真实可见光图像的概率，为输入可见光判别器的融合图像为真实可见光图像的概率。红外判别器的损失函数：其中，Di(i)为输入红外判别器的红外图像为真实红外图像的概率，Di(ψG(v，i))为输入红外判别器的下采样后的融合图像为真实红外图像的概率。残差判别器的损失函数：其中，Dd(d)为输入残差判别器的残差图像为真实残差图像的概率，Dd(G(v，i))为输入残差判别器的融合图像为真实残差图像的概率。进一步的，包括：所述原始可见光图像的分辨率与原始红外图像的分辨率不同具体是原始可见光图像的分辨率是红外图像的4×4倍。有益效果：(1)本专利技术引入了残差图像作为生成器的输入，且增加了残差图像判别器，不断地对原始残差图像和融合图像进行判别，我们的融合过程更好的保留了红外和可见光图像有差异的部分，在融合图像中表现为：红外图像的热辐射信息得到了保留和增强，物体与背景之间的对比度高于红外图像中的本文档来自技高网...

【技术保护点】
1.一种基于改进的DDcGAN模型的图像融合方法，其特征在于，包括训练阶段和测试阶段，所述训练阶段包括以下步骤：/n(1)提取训练数据集中各个待处理图片对应的原始红外图像和原始可见光图像，判断所述原始红外图像和原始可见光图像的分辨率是否相同，若相同，则直接进入步骤3，否则，进入步骤2；/n(2)将所述原始红外图像经过一层反卷积层处理，得到使其与可见光图像分辨率相同的红外图像，将处理后的红外图像和可见光图像做像素差，得到对应数据的残差图像后，转到步骤4；/n(3)将原始红外图像和可见光图像做像素差，得到对应数据的残差图像，转到步骤4后；/n(4)将原始红外图像、原始可见光图像以及残差图像进行张量拼接，并将输出输入到生成器中得到融合图像；若待处理图片对应的红外图像和可见光图像的分辨率相同，则转到步骤6，否则，转到步骤5；/n(5)将步骤4得到的融合图像利用平均池化层进行下采样操作，得到采样后的融合图像，与原始红外图像轮流输入至红外判别器，将未经过下采样的融合图像与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；/n(6)将步骤4得到的融合图像与原始红外图像轮流输入至红外判别器、与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；/n(7)训练过程使生成器的损失函数、各个判别器的损失函数尽量小，迭代步骤1-6直至训练到设置的迭代次数，从而得到训练好的改进的DDcGAN网络模型；/n测试阶段将测试集中的原始红外图像和原始可见光图像输入到改进的DDcGAN网络模型中，得到各个测试数据的融合图像。/n...

【技术特征摘要】
1.一种基于改进的DDcGAN模型的图像融合方法，其特征在于，包括训练阶段和测试阶段，所述训练阶段包括以下步骤：
(1)提取训练数据集中各个待处理图片对应的原始红外图像和原始可见光图像，判断所述原始红外图像和原始可见光图像的分辨率是否相同，若相同，则直接进入步骤3，否则，进入步骤2；
(2)将所述原始红外图像经过一层反卷积层处理，得到使其与可见光图像分辨率相同的红外图像，将处理后的红外图像和可见光图像做像素差，得到对应数据的残差图像后，转到步骤4；
(3)将原始红外图像和可见光图像做像素差，得到对应数据的残差图像，转到步骤4后；
(4)将原始红外图像、原始可见光图像以及残差图像进行张量拼接，并将输出输入到生成器中得到融合图像；若待处理图片对应的红外图像和可见光图像的分辨率相同，则转到步骤6，否则，转到步骤5；
(5)将步骤4得到的融合图像利用平均池化层进行下采样操作，得到采样后的融合图像，与原始红外图像轮流输入至红外判别器，将未经过下采样的融合图像与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；
(6)将步骤4得到的融合图像与原始红外图像轮流输入至红外判别器、与原始可见光图像轮流输入至可见光判别器，与残差图像轮流输入至残差判别器；
(7)训练过程使生成器的损失函数、各个判别器的损失函数尽量小，迭代步骤1-6直至训练到设置的迭代次数，从而得到训练好的改进的DDcGAN网络模型；
测试阶段将测试集中的原始红外图像和原始可见光图像输入到改进的DDcGAN网络模型中，得到各个测试数据的融合图像。


2.根据权利要求1所述的基于改进的DDcGAN模型的图像融合方法，其特征在于，所述红外判别器、可见光判别器以及残差判别器的结构相同，均包括三个卷积层和批标准化层的累积，最后一个批标准化层的输出作为全连接层的输入，全连接层的输出经过一个tanh激活函数，最终输出一个标量。


3.根据权利要求1所述的基于改进的DDcGAN模型的图像融合方法，其特征在于，所述生成器包括编码器和解码器，所述编码器包括为5个卷积模块组成，每个卷积模块依次包括卷积层、批标准化层和线性整流单元，其中，每一个卷积层的输入，都是前面所有线性整流函数的输出的通道连接，最后，将五个线性整流单元的输出进行连接送入解码器，解码器为四个卷积层、批标准化、线性整流单元这一结构的累积，将最后一个线性整流函数的输出送入卷积层、批标准化和tanh函数这一结构，最后输出融合图像。

【专利技术属性】
技术研发人员：毛雅淇，
申请(专利权)人：毛雅淇，
类型：发明
国别省市：山西;14