基于生成对抗网络和超分辨率网络的多模态图像融合方法技术

本发明专利技术涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率的多模态图像融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的深度残差神经网络，通过生成器和判别器的动态平衡训练得到一个生成模型；构建基于卷积层的超分辨率网络；将多波段/多模态源图像输入生成模型，得到初步融合图像；再将图像输入到训练好的超分辨率网络，得到高质量的最终融合图像。本方法实现了多波段/多模态图像端到端的神经网络融合，避免了依据先验知识进行图像多尺度多方向分解和融合规则设计的困难，实现了网络自适应融合。

【技术实现步骤摘要】
基于生成对抗网络和超分辨率网络的多模态图像融合方法
本专利技术涉及图像融合方法，尤其涉及多模态图像融合方法，具体为基于生成对抗网络和超分辨率网络的多模态图像融合方法。
技术介绍
多波段/多模态成像系统在军事、医疗、工业检测等众多领域已有广泛应用，图像融合是这些系统实现高精度智能探测的关键技术之一。目前的图像融合技术大致可分为空域和频域两大类。前者算法简单、速度快，在硬件系统中有较多运用，但融合效果有限；后者通过对原图像的多尺度多方向分解结果分别采用更具针对性的融合规则，可提高融合效果，是当前的研究热点，但往往算法复杂、依赖于人工参数或先验知识、泛化能力差，不能自适应融合，难以满足复杂场景的探测需要。新近有研究探索了基于深度学习的图像融合方法，深度学习在一定程度上有效解决了传统方法面临的问题，如文献“Multi-focusimagefusionwithadeepconvolutionalneuralnetwork”(InformationFusion36(2017)191-207)用卷积神经网络提取源图像特征，将活动水平测量和融合规则一并用网络实现；文献“基于深度堆叠卷积神经网络的图像融合”(计算机学报Vol.40No.11)利用堆叠神经网络作为高低频分解的分类器，将网络输出的高低频图像通过不同的融合规则融合。这些方法虽然提高了计算速率，减少了人为设定规则和参数的复杂性工作，但都只是实现了融合过程中某一局部算法的自适应，如自适应获取特征图或者分解重构滤波器等，并没有实现真正的自适应融合，而且以同步融合两幅图像为对象，不能满足多波段/多模态探测的需要。为此，需要一种基于神经网络的方法，以解决多模态图像的自适应融合问题。
技术实现思路
本专利技术为了解决多模态图像的自适应融合问题，提出了基于生成对抗网络和超分辨率网络的多模态图像融合方法。本专利技术是采用如下的技术方案实现的：基于生成对抗网络和超分辨率网络的多模态图像融合方法，包括以下步骤：设计并构建生成对抗网络:生成对抗网络分为生成器和判别器两个模型；生成器由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积，每个卷积层后进行修正线性单元(RectifiedLinearUnit，ReLU)非线性化；判别器由六个卷积层、一个标准的三层残差单元块和一个全连接构成，每个卷积层除了输入层外都进行BatchNorm(BN)数据归一化操作，BN后，使用LeakyReLU(LReLU)激活函数提升网络非线性程度；构建超分辨率网络：超分辨率网络由三层卷积构成，第一层卷积提取特征图，第二层卷积实现特征维度的非线性映射，第三层卷积实现重构；利用生成对抗网络，输入多模态源图像，经过网络自适应特征提取和自适应融合，生成初步融合图像；将初步融合图像输入超分辨率网络，输出高质量的最终融合图像。上述的基于生成对抗网络和超分辨率的多模态图像融合方法，生成对抗网络的联合损失函数包含像素级MSE损失、梯度损失和对抗损失；像素级MSE损失式中W、H分别表示图像的宽和高，是生成图像点(x,y)的像素值，表示真实图像点(x,y)像素值；梯度损失表示为其中，表示生成图像(x,y)点的梯度，表示真实图像(x,y)点的梯度；对抗损失Ipred表示输入数据，N表示图像像素个数，最后对联合结果施加L2正则化以防止过拟合并减少尖峰伪像，即联合损失函数λ1、λ2、λ3为权重。上述的基于生成对抗网络和超分辨率的多模态图像融合方法，λ1＝0.001，λ2＝0.5，λ3＝1，平衡三个损失函数的权重，联合训练神经网络。上述的基于生成对抗网络和超分辨率网络的多模态图像融合方法，生成对抗网络的训练集和测试集包含可见光(390-700nm)、近红外(700-1000nm)和红外长波(8-12μm)三波段图像以及CT、MRI_T2和SPECT-Tc多模态医学图像；超分辨率网络的训练集和测试集由相同类型的高分辨率图像组成。上述的基于生成对抗网络和超分辨率的多模态图像融合方法，卷积层的激活函数y＝max(0,x)或其中i表示不同通道，ai为固定的负半轴斜率。生成对抗网络(generativeadversarialnetwork，GAN)凭借其对分布建模的强大功能，可以鼓励生成图像朝着真实图像流动，从而生成具有似真高频细节的真实图像。Min_max双人游戏提供了一种简单而强大的方法来估计目标分布并生成新的图像样本。GAN分为生成器和判别器两个模型。生成器用G(z)来表示输入变量到数据空间的映射，而判别器用D(x)表示来自标签而非输入数据的概率。训练D(x)最大化将正确标签分配给来自训练样本和样本的概率，同时训练G(z)以最小化log(1-D(G(z)))。作为一种强大的生成模型，GAN在图像上色、图像修复、图像超分辨率等计算机视觉领域已有成功应用。各种GAN变体也相继提出，主要从网络架构和目标函数两方面改进GAN性能，网络输入也由随机噪声扩展到单幅图像，很多GAN技术根据轮廓图像生成接近真实的照片，或者将灰度图转换为彩色图。多波段/多模态图像融合可以看成输入不同图像生成一幅理想图像的过程，所以，从逻辑上讲GAN可以用于图像融合，本专利技术将多波段/多模态图像以一幅图像的多通道形式输入GAN，GAN网络结构采用本专利技术构思的不随神经网络深度加深而带来参数增多、计算量变大甚至网络过拟合等问题的深度残差神经网络，通过网络的自适应特征提取和自适应融合规则，输出包含多幅图像信息的初次融合图像，避免了依据先验知识进行图像多尺度多方向分解和融合规则设计的困难。图像超分辨率处理技术可突破图像采集设备的分辨率限制，充分利用多帧图像之间的互补信息，实现像素级图像信息融合。本专利技术为了解决网络学习中遇到的训练集少且分辨率低从而导致网络输出图像分辨率低的问题，将超分辨率和GAN相结合，引用超分辨率网络对输出图像进行优化，输出高质量最终融合图像。本专利技术实现了端到端神经网络融合图像，避免了人为干预，融合结果更干净且没有伪影，提供了更好的视觉质量。附图说明图1为生成器结构图。图2为判别器结构图。图3为超分辨率网络结构图。图4为可见光图像。图5为近红外图像。图6为红外长波图像。图7为本专利技术的融合图像。具体实施方法一种基于生成对抗网络和超分辨率网络的多模态图像融合方法，包括以下步骤：1.设计并构建生成对抗网络结构生成器网络结构是一个基于残差的卷积神经网络，由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积；判别器由六个卷积层、一个标准三层残差单元块和一个全连接层构成，具体如下：(1)将多波段源图像或多模态医学源图像输入生成器，进行一次卷积操作，卷积核大小为3×3×64，接着输入7个残差块，每个残差块由两个卷积层构成，需要学习的目标为F(x)＝H(x)-x,式中，x表示网络输入，H(x)表示期望输出，F(x)表示残差映射；再进行两层卷积操作，先提取更深层次特征，输出256维度特征图，再降到1维，输出一幅源图像大小的融合图像，即128×128×1。(2)判别器作为一个分类器，其任务是尽最大努力区分生成数据和真实数据，将生成器生成的图像和真实图像分别输入判别器，先对输入图像进行6次跨步长卷积操作，先提取更高维度特征，再进行降维，输出16×16×128图像；接着输入一个标准本文档来自技高网...

【技术保护点】
1.基于生成对抗网络和超分辨率网络的多模态图像融合方法，其特征在于包括以下步骤：设计并构建生成对抗网络:生成对抗网络分为生成器和判别器两个模型，生成器由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积；每个卷积层后进行修正线性单元非线性化；判别器由六个卷积层、一个标准的三层残差单元块和一个全连接构成，每个卷积层除了输入层外都进行BatchNorm数据归一化操作，归一化操作后使用LeakyReLU激活函数提升网络非线性程度；构建超分辨率网络：超分辨率网络由三层卷积构成，第一层卷积提取特征图，第二层卷积实现特征维度的非线性映射，第三层卷积实现重构；利用生成对抗网络，输入多模态源图像，经过网络自适应特征提取和自适应融合，生成初步融合图像；将初步融合图像输入超分辨率网络，输出高质量的最终融合图像。

【技术特征摘要】
1.基于生成对抗网络和超分辨率网络的多模态图像融合方法，其特征在于包括以下步骤：设计并构建生成对抗网络:生成对抗网络分为生成器和判别器两个模型，生成器由三个卷积层和七个残差块构成，其中每个残差块包含两层卷积；每个卷积层后进行修正线性单元非线性化；判别器由六个卷积层、一个标准的三层残差单元块和一个全连接构成，每个卷积层除了输入层外都进行BatchNorm数据归一化操作，归一化操作后使用LeakyReLU激活函数提升网络非线性程度；构建超分辨率网络：超分辨率网络由三层卷积构成，第一层卷积提取特征图，第二层卷积实现特征维度的非线性映射，第三层卷积实现重构；利用生成对抗网络，输入多模态源图像，经过网络自适应特征提取和自适应融合，生成初步融合图像；将初步融合图像输入超分辨率网络，输出高质量的最终融合图像。2.根据权利要求1所述的基于生成对抗网络和超分辨率的多模态图像融合方法，其特征在于生成对抗网络的联合损失函数包含像素级MSE损失、梯度损失和对抗损失；像素级MSE损失式中...

【专利技术属性】
技术研发人员：蔺素珍，杨晓莉，李大威，王丽芳，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14