【技术实现步骤摘要】
本专利技术属于遥感图像融合，尤其涉及一种两阶段的遥感图像全色锐化方法。
技术介绍
1、由于成像技术的固有局限性，卫星通常会装备两种类型的摄像头：一种用于捕获全色(panchromatic,pan)图像，另一种用于捕获多光谱(muti spectral,ms)图像。其中，pan图像具有高的空间分辨率，因此在细节信息方面相当丰富，但pan图仅包含一个波长的信息。与之相反，ms图像能够涵盖多个波长，并具有较高的光谱分辨率，可以提供丰富的颜色信息。然而，在实际应用中，常常需要同时具有高空间分辦率及光谱分辨率的图像。为了满足这一需求，遥感图像融合技术应运而生。遥感图像融合是图像融合领域中的一个重要子领域，广泛应用于农业植被调查、国土资源监测、水资源保护和国防建设等多个关键领域。现有的算法可以大致分为三个主要类别：
2、第一类是基于空域的方法：这些技术通常直接在空域中进行操作，从而构建出最终的融合图像。其中，最简便的一种模式就是采用加权平均法。但是，在此过程中，由于原始图像尺寸的不同，导致了边界效应从而丢失了关键信息。
3、第二类是基于变换域的方法。这类算法通常包含了三个步骤——图像分解，系数融合和图像重构。多尺度变换(mst)是这一类别中的经典方法，包括如拉普拉斯金字塔，层级金字塔，离散小波变换(dwt)，非下采样轮廓波变化(nsct)，双树复小波变换(dtcwt)以及其他多种流行变体。虽然这些技术可以在一定程度上改善空域方法中存在的伪影及边界效应问题。但是由于这些技术在重构过程中需要人为设定融合规则，且其重构对领
4、第三类算法是基于深度学习的方法。传统方法通常依赖于人工设计的融合规则，这对领域知识的要求很高。每种融合规则都是为特定应用量身定做的，但在泛化能力方面有局限性。随着深度学习技术的兴起，诸如卷积神经网络(cnn)等基于深度学习的算法开始逐步涌现。
5、尽管基于深度的方法已经卓有成效，但由于其训练过程中需要大量的监督样本，在遥感图像领域往往难以直接满足。而且，大部分基于深度学习的方法往往采用端到端的训练方式，未能将全色图像锐化任务进行有效的拆解及转化。这导致全色图像锐化任务局限在固有领域，难以应用自然图像领域中已有的重要成果。
技术实现思路
1、为解决上述技术问题，本专利技术提出了一种两阶段的遥感图像全色锐化方法，将原有的全色锐化任务分解为特征融合和超分辦率两个任务，特征融合任务采用生成对抗网络，不需要依赖于监督样本；超分辨率任务利用自然图像中训练好的超分辨率模型，从而大大增强了最终全色锐化图像的生成质量。
2、为实现上述目的，本专利技术提供了一种两阶段的遥感图像全色锐化方法，包括：将源图像中的全色图进行尺寸对齐和下采样处理，将下采样后的全色图与多光谱图进行拼接，获取初始特征图；
3、构建一阶段生成对抗网络，采用对抗损失函数对所述一阶段生成对抗网络进行对抗训练，获得训练好的生成器子网络；基于所述初始特征图通过所述训练好的生成器子网络，获得一阶段融合图像；
4、构建二阶段超分辨率网络，基于无监督损失函数进行迁移学习，通过优化无监督损失函数，得到训练好的二阶段超分辨率网络；基于所述训练好的二阶段超分辨率网络对所述一阶段融合图像进行上采样，获得二阶段融合图像，完成遥感图像全色锐化。
5、可选的，将源图像中的全色图进行尺寸对齐和下采样处理，将下采样后的全色图与多光谱图进行拼接，获取初始特征图包括：
6、将所述源图像中的全色图进行尺寸对齐，将所述源图像中的全色图进行下采样，获取与源图像中多光谱图尺寸相同的下采样后的全色图；
7、将所述下采样后的全色图与所述多光谱图沿通道维度拼接在一起，获取初始特征图。
8、可选的，所述一阶段生成对抗网络包括生成器子网络、空间特征判别器子网络和光谱特征判别器子网络；所述生成器子网络将初始特征图作为输入，同时所述生成器子网络的输出作为所述空间特征判别器子网络及所述光谱特征判别器子网络的输入；三个子网络通过对抗训练达到共同收敛。
9、可选的，所述对抗损失函数包括生成器损失，所述生成器损失包括无参数损失和对抗损失；
10、所述无参数损失表示如下：
11、lq＝1-qnr
12、其中，qnr为无参照图像质量评价指标，表达式为：
13、qnr＝(1-dλ)(1-ds)
14、
15、
16、
17、其中，qnr为(1-dλ)与(1-ds)两项的乘积，dλ为谱失真评价指标，ds为空间质量评价指标，m与p分别为多光谱图像与全色图像，q(x,y)为图像质量评价公式，σxy为输入图像的协方差，与代表输入图像的均值，与代表输入图像的方差，k为通道数，i,j为通道下标为，fi为融合图像的i通道，fj为融合图像的j通道，mi为原始多光谱图的i通道，mj为原始多光谱图的j通道，q(fi,fj)为融合图像f的i与j通道的图像质量评价，q(mi,mj)为原始多光谱图的i与j通道的图像质量评价；
18、所述对抗损失表示如下：
19、lg＝d1(f')+d2(f')
20、其中，d1和d2分别代表空间判别器和光谱判别器，f'为一阶段融合图像。
21、可选的，所述对抗损失函数包括空间判别器对抗损失，表示如下：
22、
23、其中，ld1为空间判别器对抗损失，n为样本容量，i为样本下标，d1为空间判别器，pi为第i张全色图，为伪图像f各个通道的均值。
24、可选的，所述对抗损失函数包括光谱判别器对抗损失，表示如下：
25、
26、其中，为光谱判别器对抗损失，n为样本容量，i为样本下标，d2为光谱判别器，mi为第i张多光谱图，f'为一阶段融合图像。
27、可选的，采用对抗损失函数对所述一阶段生成对抗网络进行对抗训练，获得训练好的生成器包括：
28、
29、其中，g*为训练好的生成器，lg为对抗损失，为损失最小时g的取值。
30、可选的，基于所述初始特征图通过所述训练好的生成器，获得一阶段融合图像包括：
31、f'＝g*(i)
32、其中，f'为一阶段融合图像，g*为训练好的生成器，i为初始特征图。
33、可选的，通过优化无监督损失函数，得到训练好的二阶段超分辨率网络包括：
34、
35、其中，s*为训练好的二阶段超分辨率网络，lq为无参数损失，为损失最小时s的取值。
36、可选的，基于所述训练好的二阶段超分辨率网络对所述一阶段融合图像进行上采样，获得二阶段融合图像包括：
37、f＝s*(f')
38、其中，f为二阶段融合图像，s*为训练好的二阶段超分辨率网络，f'为一阶段融合图像。
3本文档来自技高网...
【技术保护点】
1.一种两阶段的遥感图像全色锐化方法，其特征在于，包括：
2.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
3.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
4.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
5.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
6.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
7.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
8.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
9.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
10.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
【技术特征摘要】
1.一种两阶段的遥感图像全色锐化方法，其特征在于，包括：
2.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
3.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
4.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
5.如权利要求1所述的两阶段的遥感图像全色锐化方法，其特征在于，
【专利技术属性】
技术研发人员：鄂樱楠，董立岩，杨飞扬，葛宇菲，张星宇，闫韶卓，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。