一种基于改进生成对抗网络的红外与可见光图像融合方法技术

本发明专利技术公开了一种基于改进生成对抗网络的红外与可见光图像融合方法，本发明专利技术通过将源图像进行加噪声处理后再输入生成器，而判决器直接输入未添加噪声的源图像和生成器生成的融合图像的方法进行训练，有效抑制了源图像的噪声；融合模型中包括一个生成器和两个判决器，两个判决器分别将红外源图像、可见光源图像和融合图像进行判决，有效保留了两图像各自的有用信息；基于VGG

【技术实现步骤摘要】
一种基于改进生成对抗网络的红外与可见光图像融合方法


[0001]本专利技术属于图像融合领域，尤其是涉及一种基于改进生成对抗网络的红外与可见光图像融合方法。

技术介绍

[0002]图像融合是将两幅或以上的相同场景下的不同模式的图像融合到一起获得一幅信息更为全面的图像，以此来提高图像的利用率。红外图像是由红外传感器获取的能直观反映出图像的热辐射信息的图像，但具有分辨率较低的缺点，而可见光图像中含有丰富的细节信息，但在能见度较低或受光照、角度等自然因素影响会导致对目标成像比较困难，因此选择恰当的融合方法将红外图像跟可见光图像进行融合即可集二者的优点于一张图，使其具有分辨率和对比度都较高且不受能见度等因素影响的特点。融合后的图像可被应用在安防监控、电力设备的实时监测等场景，可有效提高各方面的工作效率。
[0003]主流的图像融合方法有基于多尺度分解的融合方法、基于显著性的融合方法和基于优化模型的融合方法，但以上三种特征分别有不够凸显红外目标等对比度信息、依赖显著性提取方式的设计和方法复杂且耗时较长的缺点，因此基于深度学习的方法被引入到图像融合领域中。基于深度学习的图像融合方法主要分为基于卷积神经网络和生成对抗网络，卷积神经神经网络是通过逐层提取特征再设计合适的融合规则进行融合并重构出融合图像。但卷积神经网络最大的缺点是其在训练过程中需要融合图像数据集进行监督训练，但融合的标准在红外可见光图像融合中是很难获得的，而生成对抗网络是通过网络中生成器和判决器的对抗来融合图像，无需建立融合标准，因此生成对抗网络越来越多的被应用到图像融合中。目前基于生成对抗网络的融合方法大多采用一个判决器，该类方法会将融合图像更趋近于其中一张源图像而丢失另一张源图像的部分有用信息，此外，大多源图像均是带有噪声的，融合后会将源图像的噪声继承到融合图像中，进而导致融合图像的质量较低。

技术实现思路

[0004]本专利技术旨在现有技术中存在的上述技术问题。为此，本专利技术提出一种基于改进生成对抗网络的红外与可见光图像融合方法，能够提高融合图像的质量并将更多的有用信息继承到融合图像中去。
[0005]根据本专利技术的第一方面实施例，提供了一种红外可见光图像融合方法，包括：数据采集模块将采集到的第一红外可见光图像对通过数据传输模块输入到融合模块中，其中，所述融合模块是通过训练数据训练出来的融合模型中的生成器，所述训练数据为第二红外可见光图像对，且所述训练数据是经过对第二红外可见光图像对进行预处理后再参加训练；获取所述融合模块的输出信息，其中，所述输出信息是通过将第一红外可见光图像对输入到融合模块得到的经过去噪并融合以后的融合图像。
[0006]进一步地，所述第一红外可见光图像和所述第二红外可见光图像对均为已配准好
的图像对，无需再次配准。
[0007]进一步地，所述融合模型包括生成器G、第一判决器D
ir
和第二判决器D
vi
，所述融合模型在所述生成器G、第一判决器D
ir
和第二判决器D
vi
之间的对抗学习中训练成功。
[0008]进一步地，所述对第二红外可见光进行图像预处理操作，以生成所述目标红外可见光图像对，包括：对所述第二红外可见光图像对进行裁剪操作，以生成第一目标红外可见光图像对。
[0009]进一步地，所述对第二红外可见光进行图像预处理操作，以生成所述目标红外可见光图像对，还包括：对所述第二红外可见光图像对进行添加噪声操作、裁剪操作，以生成第二目标红外可见光图像对。
[0010]进一步地，所述第一目标红外可见光图像对输入所述第一判决器D
ir
和第二判决器D
vi
。
[0011]进一步地，所述第二目标红外可见光图像对用于输入生成器G。
[0012]进一步地，所述生成器是由6个带激活函数的卷积层、空间注意力机制算法和通道注意力机制算法按一定顺序串联构成；所述第一判决器D
ir
和第二判决器D
vi
均是由4个带线性激活函数的卷积层和1个线性激活层按一定顺序串联构成。
[0013]进一步地，所述训练过程是根据预先设定的损失函数的使融合模型朝着预定的方向训练；所述损失函数包括生成器G损失、第一判决器D
ir
和第二判决器D
vi
的损失；所述生成器G的损失由所述生成器G的内容损失和所述生成器G与所述第一、第二判别器训练过程中的对抗损失经以一定的权重加和构成；所述第一、第二判别器的损失由第一、第二判别器各自对其输入融合图像的输出值与预设值的偏差值和梯度惩罚值以一定的权重加和构成。
[0014]进一步地，所述预设值是预先对输入图像对设置的标签，通过所述标签可判断图像为所述生成器输入图像还是融合后输出的图像。
[0015]本专利技术的优势将在下面的描述中部分给出：
[0016](1)本申请所述方案中的融合模型为无监督学习，只需要未经过融合的数据集即可训练出融合效果较好的模型，无需建立融合标准来引导融合的方向。
[0017](2)本申请所述方案提出的一种基于生成对抗网络的融合方法中设计了两个判决器，解决了基于一个判决器的方案中生成的融合图像更趋向于保留其中一幅源图像的有用信息而忽略；另一幅源图像的信息的问题，有效地保留了红外源图像的热辐射信息和可见光源图像的细节纹理信息。
[0018](3)本申请所述方案提出的融合系统中加入了空间注意力机制和通道注意力机制算法，在提升融合图像的质量的同时还使生成的图像更符合人类视觉的观察。
[0019](4)本申请所述方案未忽略所输入源图像的噪声，提出的模型可将带有噪声的红外源图像和可见光源图像进行融合并去噪，达到了双重效果，解决了待输入图像中含有噪声进而导致将噪声继承到融合图像中的问题。
附图说明
[0020]下面结合附图和实施例对本专利技术做进一步的说明，其中：
[0021]图1为本专利技术实施例的实施流程图；
[0022]图2(a)为本专利技术实施例中所述TNO数据集中的两张红外图像实例。
[0023]图2(b)为本专利技术实施例中所述TNO数据集中的两张可见光图像实例。
[0024]图3为本专利技术实施例中融合模型的网络结构。
[0025]图4(a)为本专利技术实施例中所述的待融合图像对中的红外图像。
[0026]图4(b)为本专利技术实施例中所述的待融合图像对中的可见光图像。
[0027]图4(c)为本专利技术实施例中所述的待融合图像对经过融合后生成的融合图像。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]如图1所示，一种基于改进生成对抗网络的红外与可见光图像融合方法，包括如下步骤：
[0030](1)获取所需红外可见光源图像；
[0031](本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进生成对抗网络的红外与可见光图像融合方法，其特征在于，包括：融合模块、数据传输模块、供电单元模块、数据采集模块；所述供电单元模块为数据采集模块提供电源，所述数据采集模块用来采集所述融合模块所需数据，所述数据传输模块用来将所述数据采集模块采集的数据传输至所述融合模块，其中，所述数据采集模块采集的数据为第一红外可将光图像对。2.根据权利要求1所述的一种基于改进生成对抗网络的红外与可见光图像融合方法，其特征在于，所述融合模块是通过训练数据训练出来的融合模型中的生成器G，其中，所述训练数据是经过对第二红外可见光图像对进行预处理后的目标红外可见光图像对，将第一红外可见光图像对输入到训练好的融合模块可获取所述融合模块的输出信息，其中，所述输出信息是通过将第一红外可见光图像对输入到融合模块得到的经过去噪并融合以后的图像。3.根据权利要求1所述的一种基于改进生成对抗网络的红外与可见光图像融合方法，其特征在于，所述融合模型包括生成器G、第一判决器D
ir
和第二判决器D
vi
，所述融合模型在所述生成器G、第一判决器D
ir
和第二判决器D
vi
之间的对抗学习中训练成功。4.根据权利要求1所述的一种基于改进生成对抗网络的红外与可见光图像融合方法，其特征在于，所述对第二红外可见光进行图像预处理操作以生成所述目标红外可见光图像对，包括：对所述第二红外可见光图像对进行裁剪操作，以生成第一目标红外可见光图像对。5.根据权利要求1所述的一种基于改进生成对抗网络的红外与可见光图像融合方法，其特征在于，所述对第二红外可见光进行图像预处理操作以生成所述目标红外可见光图像对，还包括：对所述第二红外可见光图像对...

【专利技术属性】
技术研发人员：杨琳琳，廖斌，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：