基于多通道编码解码生成对抗网络的图像融合方法及装置制造方法及图纸

本说明书实施例提供了一种基于多通道编码解码生成对抗网络的图像融合方法、装置、设备及介质，其中，方法包括构建由生成器和鉴别器组成的对抗卷积神经网络；初始化所述生成器和鉴别器的参数；分别构建生成器的损失函数和鉴别器损失函数，通过生成器的损失函数和鉴别器损失函数计算结果的反馈分别优化生成器网络参数和鉴别器网络参数；获取红外图像集和可见光图像集，红外图像集和可见光图像集输入至对抗卷积神经网络进行网络训练，直至生成器的损失函数和鉴别器损失函数在对抗学习中收敛到最优，获得训练好的对抗卷积神经网络，将需要融合的红外图像与可见光图像输入至训练好的生成器，获得融合图像。用于解决现有技术图像融合不精细问题。像融合不精细问题。像融合不精细问题。

【技术实现步骤摘要】
基于多通道编码解码生成对抗网络的图像融合方法及装置


[0001]本专利技术涉及图像融合
，尤其涉及一种基于多通道编码解码生成对抗网络的图像融合方法、装置、设备及介质。

技术介绍

[0002]通过传感器捕获图像，并运用技术手段对不同传感器捕获的图像进行融合的技术在现代社会的多个领域已得到了广泛应用。由于红外和可见光传感器发展的最早，且技术较为成熟，因此，红外和可见光成像传感器应用最为广泛。
[0003]红外和可见光图像融合问题的关键在于如何在不损害图像整体结构表达的情况下尽可能多的保留可见光纹理细节信息以及红外亮度信息，并且在最终的融合结果中不出现噪声及伪影，近年来，深度学习理论发展迅速，并很快在图像融合领域得到实践，如基于卷积神经网络(convolutional neural network,CNN)的方法一般引入编码器
‑
解码器网络框架进行特征提取和特征重构，以增强特征的表征能力。但该方法并非为直接融合模型，仍需要人工设计融合策略。为了解决这一缺陷，基于生成对抗网络(GAN)的方法被提出，思想是将图像融合转化为对抗博弈。
[0004]虽然基于GAN的方法取得了显著的效果，但仍有存在以下问题：
[0005]一、该类方法仅依靠鉴别器进行对抗训练从而得到融合图像，导致融合结果的局部细节信息丢失。
[0006]二、大多数基于GAN的图像融合算法只考虑到要保留输入图像中重要的特征，却没有考虑到加强重要的特征区域，且没有考虑红外和可见光各自特征的平衡性。
[0007]三、该类方法虽然能够保留到源图像的纹理特征，但是它们不够精细。

技术实现思路

[0008]为克服相关技术中存在的问题，本公开提供一种基于多通道编码解码生成对抗网络的图像融合方法、装置、设备及介质，以解决相关技术中的技术问题。
[0009]本说明书一个或多个实施例提供了一种基于多通道编码解码生成对抗网络的图像融合方法，包括以下步骤：
[0010]构建由生成器和鉴别器组成的对抗卷积神经网络；其中，
[0011]生成器包括用于提取红外图像全局特征的第一编码器，用于提取可见光图像全局特征的第二编码器，及同时提取红外图像和可见光图像全局特征的第三编码器，所述第一编码器之后设置用于增强红外图像中亮度及对比度特征的对比度增强模块；对比度增强模块、第二编码器和第三编码器输出端一起链接至用于通过校准特征通道权重实现增强特征纹理的特征增强模块，增强后的特征输入至解码器网络重建出融合图像；且所述三个编码器和解码器分别包含多个由卷积层和一个激活函数计算单元构成的卷积块；
[0012]鉴别器包括分别用于鉴别红外图像和可见光图像与融合图像差异的红外鉴别器和可见光鉴别器，所述红外鉴别器和可见光鉴别器由多个卷积块、一个激励模块和一个具
有tanh函数的全连接层构成；
[0013]初始化所述生成器和鉴别器的参数；分别构建生成器的损失函数和鉴别器损失函数，通过生成器的损失函数和鉴别器损失函数计算结果的反馈分别优化生成器网络参数和鉴别器网络参数；
[0014]获取红外图像集和可见光图像集，红外图像集和可见光图像集输入至对抗卷积神经网络进行网络训练，直至生成器的损失函数和鉴别器损失函数在对抗学习中收敛到最优，获得训练好的对抗卷积神经网络；
[0015]将需要融合的红外图像与可见光图像输入至训练好的生成器，获得融合图像。
[0016]本说明书一个或多个实施例提供了一种基于多通道编码解码生成对抗网络的图像融合装置，包括：
[0017]模型构建模块，用于构建由生成器和鉴别器组成的对抗卷积神经网络；其中，
[0018]生成器包括用于提取红外图像全局特征的第一编码器，用于提取可见光图像全局特征的第二编码器，及同时提取红外图像和可见光图像全局特征的第三编码器，所述第一编码器之后设置用于增强红外图像中亮度及对比度特征的对比度增强模块；对比度增强模块、第二编码器和第三编码器输出端一起链接至用于通过校准特征通道权重实现增强特征纹理的特征增强模块，增强后的特征输入至解码器网络重建出融合图像；且所述三个编码器和解码器分别包含多个由卷积层和一个激活函数计算单元构成的卷积块；
[0019]鉴别器包括分别用于鉴别红外图像和可见光图像与融合图像差异的红外鉴别器和可见光鉴别器，所述红外鉴别器和可见光鉴别器由多个卷积块、一个激励模块和一个具有tanh函数的全连接层构成；
[0020]模型参数初始化模块：用于初始化所述生成器和鉴别器的参数；分别构建生成器的损失函数和鉴别器损失函数，通过生成器的损失函数和鉴别器损失函数计算结果的反馈分别优化生成器网络参数和鉴别器网络参数；
[0021]模型训练模块：用于通过获取的红外图像集和可见光图像集，输入至对抗卷积神经网络进行网络训练，直至生成器的损失函数和鉴别器损失函数在对抗学习中收敛到最优，获得训练好的对抗卷积神经网络；
[0022]图像融合模块，用于将需要融合的红外图像与可见光图像输入至训练好的生成器，获得融合图像。
[0023]本说明书一个或多个实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述基于多通道编码解码生成对抗网络的图像融合方法。
[0024]本说明书一个或多个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述基于多通道编码解码生成对抗网络的图像融合方法的步骤。
[0025]本公开提供的技术方案能实现以下有益效果：为了减轻鉴别器的负担，本专利技术选择编码器解码器结构作为生成器的网络主体结构，网络模型生成器和鉴别器都充分的学习训练，由于编码器解码器本身就能够很好的学习输入图像特征，从而初步得到包含红外和可见光图像大致特征的一个生成图像，且为了更充分提取特征以及平衡红外与可见光图像特征，设计了三重编码器结构，另外，为了是目标区域的对比度信息更加明显，还在红外通
道后设置了一个对比度增强模块；为了更好的进行学习训练，生成保留更多红外和可见光特征的融合图像，设计了两个相同网络结构的鉴别器，分别通过将生成的融合图像分别与源红外和可见光图像进行对比结果，并根据预设的生成器的损失函数和鉴别器损失函数对生成器和鉴别器参数进行调整使网络参数，且各鉴别器后还设计了一个激励模块，由此来激励生成器对特征学习的更充分，通过对生成器的损失函数和鉴别器损失函数的约束，使生成器和鉴别器训练达到最优，最后通过优化后的生成器对红外图像和可见光图像进行融合。
附图说明
[0026]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。...

【技术保护点】

【技术特征摘要】
1.基于多通道编码解码生成对抗网络的图像融合方法，其特征在于，包括以下步骤：构建由生成器和鉴别器组成的对抗卷积神经网络；其中，生成器包括用于提取红外图像全局特征的第一编码器，用于提取可见光图像全局特征的第二编码器，及同时提取红外图像和可见光图像全局特征的第三编码器，所述第一编码器之后设置用于增强红外图像中亮度及对比度特征的对比度增强模块；对比度增强模块、第二编码器和第三编码器输出端一起链接至用于通过校准特征通道权重实现增强特征纹理的特征增强模块，增强后的特征输入至解码器网络重建出融合图像；且所述三个编码器和解码器分别包含多个由卷积层和一个激活函数计算单元构成的卷积块；鉴别器包括分别用于鉴别红外图像和可见光图像与融合图像差异的红外鉴别器和可见光鉴别器，所述红外鉴别器和可见光鉴别器由多个卷积块、一个激励模块和一个具有tanh函数的全连接层构成；初始化所述生成器和鉴别器的参数；分别构建生成器的损失函数和鉴别器损失函数，通过生成器的损失函数和鉴别器损失函数计算结果的反馈分别优化生成器网络参数和鉴别器网络参数；获取红外图像集和可见光图像集，红外图像集和可见光图像集输入至对抗卷积神经网络进行网络训练，直至生成器的损失函数和鉴别器损失函数在对抗学习中收敛到最优，获得训练好的对抗卷积神经网络；将需要融合的红外图像与可见光图像输入至训练好的生成器，获得融合图像。2.如权利要求1所述的基于多通道编码解码生成对抗网络的图像融合方法，其特征在于，所述第一编码器、第二编码器和第三编码器网络结构相同，均包含卷积核大小和采样数量不同的四个卷积层和一个激活函数计算单元；特征增强模块为SE
‑
Net模块；所述解码器包含卷积核大小和采样数量不同的三个卷积层和一个激活函数。3.如权利要求1所述的基于多通道编码解码生成对抗网络的图像融合方法，其特征在于，所述红外鉴别器和可见光鉴别器均设置四个卷积块，各卷积块包含一个卷积层、可切换归一层和一个激活函数，且各卷积层的卷积核大小相同，采样数量不同。4.如权利要求1所述的基于多通道编码解码生成对抗网络的图像融合方法，其特征在于，所述对比度增强模块包括平均池化层，第一卷积层，Leaky RELU激活函数计算单元，第二卷积层及Sigmoid激活函数计算单元；经过第一编码器提取红外图像全局特征的红外图像经过平均池化层计算平均值，再通过第一卷积层、Leaky RELU激活函数和第二卷积层学习对比度特征的平均值的非线性相互作用，得到对比度注意力特征图；最后通过Sigmoid激活函数单元对对比度注意力特征图归一化对比度增强特征。5.如权利要求1
‑
4任意一项所述的基于多通道编码解码生成对抗网络的图像融合方法，其特征在于，所述生成器的损失函数包括对抗损失函...

【专利技术属性】
技术研发人员：张玉华，冀鲸宇，马晓琳，林志龙，李爱华，王志平，王长龙，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：