一种基于生成对抗网络的多损失函数的遥感图像融合方法技术

本发明专利技术提供了一种基于生成对抗网络的多损失函数的遥感图像融合方法，包括：基于源图像中的全色图和多光谱图，构建数据集；构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，基于所述空间判别器网络与光谱判别器网络，判断所述伪图像的相似性；基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。本发明专利技术的融合效果优于传统融合算法及一般的基于深度学习的融合算法，在全尺寸图像上的表现更好，泛化能力更强，可以高效地进行遥感图像的融合。高效地进行遥感图像的融合。高效地进行遥感图像的融合。

【技术实现步骤摘要】
一种基于生成对抗网络的多损失函数的遥感图像融合方法


[0001]本专利技术属于遥感图像融合
，尤其涉及一种基于生成对抗网络的多损失函数的遥感图像融合方法。

技术介绍

[0002]由于摄像技术的客观限制，卫星上一般会携带两种摄像头，一种用来采集全色图(PAN图)它只含有一个波段的信息，具有较高的空间分辨率，蕴含丰富的细节信息；另一种用来采集多光谱图(MS图)，它覆盖多个波段，具有较高的光谱分辨率，蕴含着丰富的色彩信息。然而，在实际的应用场景中，往往需要图像同时具备较高的空间分辨率和较高的光谱分辨率。而获得这种“全尺寸多光谱”图像的方式是通过遥感图像融合技术。
[0003]遥感图像融合是融合图像融合领域的重要分支，广泛应用于农业植被勘察，土地资源检测，水资源保护，以及国防科技建设等重要领域。已有方法可归类为以下三类：
[0004]第一类是基于空域的方法：这类方法通常将源图像在空域中进行运算，以构建最终的融合图像。就该方法而言，一个最简单的模型就是加权平均。然而，这种模型通常会导致严重的边界效应，也会由于遥感图像尺寸上存在的差异导致最终的融合图像丢失了源图像中的关键信息。
[0005]第二类是基于变化域的方法。这类算法通常包含了三个步骤：图像分解，系数融合和图像重构。多尺度变换(MST)是这类算法中的经典方法，MST有很多常见的变体，如拉普拉斯金字塔，层级金字塔，离散小波变换(DWT)，非下采样轮廓波变化(NSCT)，双树复小波变换(DTCWT)等等。这些方法可以有效改善空域方法中存在的伪影及边界效应等痛点。遗憾的是，这类方法在重构过程中需要人为设定融合规则，而这类融合规则的制定依赖大量的领域知识，极大限制了这类算法的泛化能力。
[0006]第三类算法是基于深度学习的方法。近年来，随着深度学习技术的发展，以卷积神经网络为基础的遥感图像融合算法开始逐渐崭露头角。这类算法往往能在基于下采样的训练集上取得良好的效果，并且不依赖人为制定的融合规则。然而，尽管基于卷积神经网络的算法取得了一定的进步，但由于其训练过程是基于下采样的训练集，导致其应用在全尺寸图像上时表现欠佳，丢失了源图像中的部分信息。
[0007]因此，亟需提出一种基于生成对抗网络的多损失函数的遥感图像融合方法，改善基于深度学习方法存在的问题。

技术实现思路

[0008]为解决上述技术问题，本专利技术提出了一种基于生成对抗网络的多损失函数的遥感图像融合方法，是一种能够将全色图像和多光谱图像融合在一起，获得“全色多光谱”图像的融合方法，其融合效果优于传统融合算法及一般的基于深度学习的融合算法，在全尺寸图像上的表现更好，泛化能力更强，可以高效地进行遥感图像的融合。
[0009]为实现上述目的，本专利技术提供了一种基于生成对抗网络的多损失函数的遥感图像
融合方法，包括：基于源图像中的全色图和多光谱图，构建数据集；
[0010]构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像；
[0011]基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；
[0012]基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。
[0013]进一步地，构建所述数据集包括：
[0014]采用双三次插值下采样法，对所述源图像中的全色图和多光谱图进行下采样；
[0015]将所述源图像中的多光谱图作为标签；
[0016]基于采样后的所述全色图和多光谱图以及所述标签，构成所述数据集。
[0017]进一步地，所述生成器网络包括：编码器和解码器；所述编码器与解码器连接，
[0018]所述编码器用于提取输入图像的语义信息，降低图像的空间尺度，并增大图像的通道数；
[0019]所述解码器用于还原图片信息，输出所述伪图像。
[0020]进一步地，所述编码器包括：若干下采样模块，每个所述下采样模块堆叠采用一个卷积层和一个批归一化层，并采用ReLU激活函数处理所述批归一化层的输出，其中，基于第一预设数值设置各个卷积核数量。
[0021]进一步地，所述解码器包括：若干上采样模块，每个所述上采样模块堆叠采用一个转置卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第二预设数值设置各个卷积核数量；
[0022]若干所述上采样模块与若干所述下采样模块，在通道维度上做联结。
[0023]进一步地，所述解码器的尾部还连接有若干个额外的卷积层。
[0024]进一步地，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像包括：
[0025]利用所述空间判别器网络，判断所述伪图像与所述源图像中全色图的相似性；
[0026]利用所述光谱判别器，判断所述伪图像与所述源图像中多光谱图的相似性；
[0027]基于所述伪图像与所述所述源图像的全部相似性，完成所述伪图像的验证。
[0028]进一步地，所述空间判别器网络和光谱判别器网络采用相同的网络结构，均包括若干卷积模块，每个所述卷积模块堆叠采用一个卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第三预设数值设置各个卷积核数量。
[0029]进一步地，所述最小化损失函数包括生成器损失、空间判别器对抗损失、光谱判别器对抗损失；
[0030]所述生成器损失包括：内容损失、无参数损失和对抗损失；
[0031]所述内容损失的表达式为：
[0032][0033]其中，N为数据集中已经配准的图像总数，i为数据集中的图像序号，F表示由生成
器生成的伪图像，T表示经由Wald
’
s protocol得到的金标准；
[0034]所述无参数损失的表达式为：
[0035]L
Q
＝1
‑
QNR
[0036]其中，QNR为为无参照图像质量评价指标，表达式为：
[0037]QNR＝(1
‑
D
λ
)(1
‑
D
s
)
[0038][0039][0040][0041]其中，QNR表示(1
‑
D
λ
)与(1
‑
D
s
)两项的乘积，D
λ
为谱失真评价指标；D
s
为空间质量评价指标，i与j为两个不同的图片序号，K为波段数，M与P分别为多光谱图像与全色图像，Q(x,y)为图像质量评价公式，σ
xy
为输入图像的协方差，与代表输入图像的均值，与代表输入图像的方差；
[0042]所述对抗损失的表达式为：
[0043][0044]其中，D1和D2分别代表空间判别器和光谱判别器；...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，包括：基于源图像中的全色图和多光谱图，构建数据集；构建生成器网络、空间判别器网络和光谱判别器网络，将所述数据集中的图像输入至所述生成器网络，生成伪图像，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像；基于最小化损失函数，训练所述生成器网络、空间判别器网络和光谱判别器网络；基于训练后的所述生成器网络，融合所述源图像中的全色图和多光谱图，生成融合图像。2.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，构建所述数据集包括：采用双三次插值下采样法，对所述源图像中的全色图和多光谱图进行下采样；将所述源图像中的多光谱图作为标签；基于采样后的所述全色图和多光谱图以及所述标签，构成所述数据集。3.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述生成器网络包括：编码器和解码器；所述编码器与解码器连接，所述编码器用于提取输入图像的语义信息，降低图像的空间尺度，并增大图像的通道数；所述解码器用于还原图片信息，输出所述伪图像。4.根据权利要求3所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述编码器包括：若干下采样模块，每个所述下采样模块堆叠采用一个卷积层和一个批归一化层，并采用ReLU激活函数处理所述批归一化层的输出，其中，基于第一预设数值设置各个卷积核数量。5.根据权利要求4所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述解码器包括：若干上采样模块，每个所述上采样模块堆叠采用一个转置卷积层和一个批归一化层，并采用LeakyReLU激活函数处理所述批归一化层的输出，其中，基于第二预设数值设置各个卷积核数量；若干所述上采样模块与若干所述下采样模块，在通道维度上做联结。6.根据权利要求5所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，所述解码器的尾部还连接有若干个额外的卷积层。7.根据权利要求1所述的基于生成对抗网络的多损失函数的遥感图像融合方法，其特征在于，利用所述空间判别器网络和所述光谱判别器网络，验证所述伪图像包括：利用所述空间判别器网络，判断所述伪图像与所述...

【专利技术属性】
技术研发人员：黄博，李雄飞，王瑀，丁天奇，张小利，
申请(专利权)人：吉林大学，
类型：发明
国别省市：