一种基于自适应增强生成对抗网络的图像融合方法及系统技术方案

本发明专利技术涉及一种基于自适应增强生成对抗网络的图像融合方法及系统。所述方法包括：构建稠密细节特征提取网络对源图像分别运用稠密卷积方式结合细节信息补偿机制进行特征提取；构建双通道自适应融合网络融合源特征图和细节信息特征图；融合特征图拼接后，构建1*1卷积网络实现跨通道的交互和信息融合；对融合后的特征图进行解码得到融合图像；在训练整体网络模型时，加入自适应结构相似性损失函数。该方法引入细节信息补偿机制增强融合图像细节并减少信息丢失，运用双通道自适应融合网络在通道维度上均衡融合图像中的红外信息和可见光信息，加入自适应结构相似性损失函数在空间维度上自适应增强融合图像与源图像的相似度，提高了融合图像质量。提高了融合图像质量。提高了融合图像质量。

【技术实现步骤摘要】
一种基于自适应增强生成对抗网络的图像融合方法及系统


[0001]本专利技术涉及图像融合
，特别是涉及一种基于自适应增强生成对抗网络的图像融合方法及系统。

技术介绍

[0002]图像融合是图像处理中的一种重要技术，图像融合的主要目标是整合从每个源图像中提取的突出特征，因为单个红外或可见光传感器无法捕获完整的场景信息。一般来说，可见图像具有丰富的空间分辨率高的感知细节，而红外图像包含目标的热辐射，因此，将红外图像和可见图像的互补信息融合成一种新的合成图像来处理不同的任务具有重要意义。目前最先进的融合算法被广泛应用于许多应用中，如自动驾驶汽车、视觉跟踪和视频监控。融合算法大致可分为两类：传统的方法和基于深度学习的方法。近年来，基于深度学习的方法在图像融合任务中显示出巨大的潜力，并被认为具有比传统算法提供更好性能的潜力。
[0003]目前，基于深度学习的方法进行图像融合的一大阻碍在于没有真值，所以对于端到端的网络在训练时只能采用无监督训练或把两张源图像当作真值进行有监督训练。然而，在采用无监督训练时，端到端的网络在提取特征时会丢失很多信息；在采用两张真值图像进行有监督训练时，融合图像中会产生信息分配不均衡的问题。

技术实现思路

[0004]本专利技术的目的是提供一种基于自适应增强生成对抗网络的图像融合方法及系统，以解决现有基于深度学习的图像融合方法存在的信息丢失问题和有效信息分配不均衡问题。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于自适应增强生成对抗网络的图像融合方法，包括：
[0007]获取源图像；所述源图像包括红外图像和可见光图像；
[0008]将稠密卷积网络与细节信息补偿机制相结合构建稠密细节特征提取网络；
[0009]基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；所述源图像的源特征图包括红外图像的源特征图和可见光图像的源特征图；所述细节信息特征图包括红外图像的细节信息特征图和可见光图像的细节信息特征图；
[0010]基于双通道最大池化自适应融合机制和双通道平均池化自适应融合机制构建双通道自适应融合网络；
[0011]基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；
[0012]基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；
[0013]采用所述双通道自适应融合网络将所述融合源特征图和所述融合细节信息特征
图进行拼接，得到拼接后特征图；
[0014]将所述拼接后特征图输入1*1卷积网络实现特征图跨通道的信息交互和信息融合，得到融合后特征图；
[0015]采用解码网络对所述融合后特征图进行解码得到融合图像；
[0016]将所述稠密细节特征提取网络、所述双通道自适应融合网络、所述1*1卷积网络以及所述解码网络依次连接，构成自适应增强生成对抗网络；
[0017]根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数；
[0018]基于所述自适应结构相似性损失函数，通过反向传播训练所述自适应增强生成对抗网络的网络参数，生成训练好的自适应增强生成对抗网络；
[0019]采用所述训练好的自适应增强生成对抗网络进行红外图像和可见光图像的图像融合。
[0020]可选地，所述基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图，具体包括：
[0021]基于所述稠密细节特征提取网络，采用稠密细节特征提取网络公式p
i
＝conv
i
(x1,cat(
…
,conv2(cat(x
i
‑2,conv1(cat(x
i
‑1,x
i
))))))和y
i
＝cat(p
i
,broadcast(x)
‑
p
i
)对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；其中x表示所述源图像，x
i
表示所述稠密细节特征提取网络的第i层特征图；cat()表示将括号内特征图在特征通道上进行拼接；conv
i
()表示对括号内的拼接后特征图进行特征提取的第i层卷积操作；p
i
表示提取到的第i层源特征图；broadcast(x)
‑
p
i
表示源特征图p
i
对应的第i层细节信息特征图，broadcast(x)表示广播机制自动扩充所述源图像x的维度；y
i
表示所述稠密细节特征提取网络的第i层全部特征图。
[0022]可选地，所述基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图，具体包括：
[0023]基于所述双通道自适应融合网络，采用公式对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；其中，表示红外图像的源特征图，表示可见光图像的源特征图；max()表示对括号内特征图在通道维度上求最大值；表示对红外图像的源特征图进行卷积操作，表示对可见光图像的源特征图进行卷积操作；σ()表示sigmoid操作；X
°
表示通过双通道最大池化自适应融合机制加权后得到的融合源特征图。
[0024]可选地，所述基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图，具体包括：
[0025]基于所述双通道自适应融合网络，采用公式对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；其中表示红外图像的细节信息特征图，表示可见光图像的细节信息特征图；mean()表示对括号内特征图在通道维度上求平均值；表示对红外图像的细节信息特征图进行卷积操作，表示对可见光图像的细节信息特征图进行卷积操作；σ()表示sigmoid操作；X
d
表示通过双通道平均池化自适应融合机制加权后得到的融合细节信息特征图。
[0026]可选地，所述根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数，具体包括：
[0027]采用公式计算所述融合图像与所述源图像的亮度相似度l(x,y)；其中μ
x
表示源图像x滑动窗口的像素强度平均值，μ
y
表示融合图像y滑动窗口的像素强度平均值；C1为一个极小数；
[0028]采用公式计算所述融合图像与所述源图像的对比度相似度c(x,y)；其中σ
x
表示源图像x的标准差，σ
y
表示融合图像y的标准差；C2为一个极小数；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应增强生成对抗网络的图像融合方法，其特征在于，包括：获取源图像；所述源图像包括红外图像和可见光图像；将稠密卷积网络与细节信息补偿机制相结合构建稠密细节特征提取网络；基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；所述源图像的源特征图包括红外图像的源特征图和可见光图像的源特征图；所述细节信息特征图包括红外图像的细节信息特征图和可见光图像的细节信息特征图；基于双通道最大池化自适应融合机制和双通道平均池化自适应融合机制构建双通道自适应融合网络；基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；采用所述双通道自适应融合网络将所述融合源特征图和所述融合细节信息特征图进行拼接，得到拼接后特征图；将所述拼接后特征图输入1*1卷积网络实现特征图跨通道的信息交互和信息融合，得到融合后特征图；采用解码网络对所述融合后特征图进行解码得到融合图像；将所述稠密细节特征提取网络、所述双通道自适应融合网络、所述1*1卷积网络以及所述解码网络依次连接，构成自适应增强生成对抗网络；根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数；基于所述自适应结构相似性损失函数，通过反向传播训练所述自适应增强生成对抗网络的网络参数，生成训练好的自适应增强生成对抗网络；采用所述训练好的自适应增强生成对抗网络进行红外图像和可见光图像的图像融合。2.根据权利要求1所述的方法，其特征在于，所述基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图，具体包括：基于所述稠密细节特征提取网络，采用稠密细节特征提取网络公式p
i
＝conv
i
(x1,cat(
…
,conv2(cat(x
i
‑2,conv1(cat(x
i
‑1,x
i
))))))和y
i
＝cat(p
i
,broadcast(x)
‑
p
i
)对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；其中x表示所述源图像，x
i
表示所述稠密细节特征提取网络的第i层特征图；cat()表示将括号内特征图在特征通道上进行拼接；conv
i
()表示对括号内的拼接后特征图进行特征提取的第i层卷积操作；p
i
表示提取到的第i层源特征图；broadcast(x)
‑
p
i
表示源特征图p
i
对应的第i层细节信息特征图，broadcast(x)表示广播机制自动扩充所述源图像x的维度；y
i
表示所述稠密细节特征提取网络的第i层全部特征图。3.根据权利要求1所述的方法，其特征在于，所述基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图，具体包括：基于所述双通道自适应融合网络，采用公式
对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；其中，表示红外图像的源特征图，表示可见光图像的源特征图；max()表示对括号内特征图在通道维度上求最大值；表示对红外图像的源特征图进行卷积操作，表示对可见光图像的源特征图进行卷积操作；σ()表示sigmoid操作；X
o
表示通过双通道最大池化自适应融合机制加权后得到的融合源特征图。4.根据权利要求1所述的方法，其特征在于，所述基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图，具体包括：基于所述双通道自适应融合网络，采用公式对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；其中表示红外图像的细节信息特征图，表示可见光图像的细节信息特征图；mean()表示对括号内特征图在通道维度上求平均值；表示对红外图像的细节信息特征图进行卷积操作，表示对可见光图像的细节信息特征图进行卷积操作；σ()表示sigmoid操作；X
d
表示通过双通道平均池化自适应融合机制加权后得到的融合细节信息特征图。5.根据权利要求1所述的方法，其特征在于，所述根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数，具体包括：采用公式计算所述融合图像与所述源图像的亮度相似度l(x,y)；其中μ
x
表示源图像x滑动窗口的像素强度平均值，μ
y
表示融合图像y滑动窗口的像素强度平均值；C1为一个极小数；采用公式计算所述融合图像与所述源图像的对比度相似度c(x,y)；其中σ
x
表示源图像x的标准差，σ
y
表示融合图像y的标准差；C2为一个极小数；
采用公式计算所述融合图像与所述源图像的结构相似度s(x,y)；其中σ
xy
表示源图像x与融合图像y的协方差；C3为一个极小数；根据所述融合图像与所述源图像的亮度相似度l(x,y)、对比度相似度c(x,y)以及结构相似度s(x,y)，采用公式ssim(x,y)＝l(x,y)
·
c(x,y)
·
s(x,y)计算所述融合图像与所述源图像的结构相似性ssim(x,y)；根据所述融合图像与所述源图像的结构相似性ssim(x,y)构建自适应结构相似性损失函数其中vi
w
表示滑动窗口中的可见光图像块，ir
w
表示滑动窗口中的红外图像块，f
w
表示滑动窗口中的融合图像块；ssim(vi
w
+f
w
)表示滑动窗口中融合图像块和可见光图像块的结构相似性，ssim(ir
w
+f
w
)表示滑动窗口中融合图像块和红外图像块的结构相似性；表示滑动窗口中可见光图像块的像素平均值，表示滑动窗口中红外图像块的像素平均值；SSIM表示一个滑动窗口中最终的结构相似性损失函数的值。6.一种基于自适应增强生成对抗网络的图像融合系统，其特征在于，包括：源图像获取模块，用于获取源图像；所述源图...

【专利技术属性】
技术研发人员：张聪炫，单长鲁，陈震，卢锋，葛利跃，陈昊，秦文健，李凌，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：