【技术实现步骤摘要】
本专利技术涉及模式识别与机器学习领域，特别涉及遥感图像超分辨率重建，更具体的说是涉及基于单向卷积网络和降质建模的遥感视频超分辨率重建方法。
技术介绍
1、遥感图像是通过各种传感器获得的包含地物电磁波信息的图片，具有种类多，数据量大，涵盖的时间和空间范围广的特点。遥感视频是指视频卫星获得的遥感数据，特点是将某一时间段内获取的遥感数据在时间方向上排列，具有时间上的连续性。空间分辨率是描述遥感视频的一个重要指标，指单帧遥感图像中能区分的最小地面单元，即单帧遥感图像的一个像素的长度对应实际地面上的一段距离，该距离决定了遥感视频能包含的最细微的空间信息。提升空间分辨率是遥感领域的重要课题，除了在硬件层面直接提高传感器本身的性能外，还可在软件层面设计算法实现遥感视频空间分辨率的提升，这类技术被称为超分辨率重建技术。
2、图像超分辨率重建技术（以下简称超分重建）可以根据不同任务需求，将低分辨率图像（以下简称低分图像）按照一定比例因子恢复到高分辨率图像（以下简称高分图像），如果是在遥感图像空间尺度进行超分则可以提升其空间分辨率。近年来随着图像处理技术的发展，研究者发现利用视频的时空信息可以更好地恢复高分图像的信息，因此学界先后提出在视频上进行的超分重建方法。视频超分是在图像超分的基础上发展而来的。最简单的视频超分方法是逐帧进行图像超分，最后再将超分的结果堆叠起来，构成超分视频。后来人们发现用从视频中采集的连续序列帧作为输入，结合帧间信息重建比逐帧图像超分更好。目前先进的视频超分主要基于深度学习技术，利用循环网络提取序列帧图像的特征然
3、由于遥感数据不具有高分辨率客观真值，而且受数据获取和传输影响具备复杂且不可知的降质过程，因此真实遥感超分应用实际上属于盲超分问题。盲超分问题指高分图像到低分图像的降质过程具备多样性和未知性，因此需要在模型训练阶段提供多种降质影响下的低分数据，从而使模型获得更好的泛化能力。根据盲超分思想，现有的降质过程建模主要包括两种方式，显式建模和隐式建模。显式建模将降质过程建模为模糊、噪声和压缩伪影等及其叠加，隐式建模则通过网络学习模糊核等降质因子。由于不依赖人工设计的降质先验，隐式建模通常具有更强大的降质表征能力和泛化能力，但是网络设计相应地更加困难。利用盲超分思想，在遥感视频超分重建过程中引入多种降质信息，可以有效提升超分模型的泛化能力，更符合实际遥感应用的需求。
4、目前遥感视频超分重建方法可分为两类：对齐和非对齐的方法。对齐就是将序列帧图像中位置发生偏移的目标特征移到同一位置，方便卷积网络充分利用不同时间状态下的特征。显式的对齐方法包括估计光流并进行运动补偿等，隐式对齐方法是为了减少运动信息估计不准确带来的误差，主要方法有可变性卷积。通常而言，对齐的超分方法会消耗更多的计算资源，而且不准确的光流估计会导致结果出现大量的伪影。非对齐的方法自动学习序列帧图像的特征和运动信息，这其中空间非对齐方法将输入帧直接进行二维卷积，然后直接融合多帧特征。通常这些方法不考虑遥感数据的降质问题，而是仅通过显式下采样获得用于网络训练的低分-高分图像对，这可能导致超分重建结果中出现不理想的伪影等现象，从而降低模型的泛化能力，限制超分算法在真实场景下的应用。
5、实际应用中遥感数据并没有高分对作为客观真值，在数据获取过程中也可能受复杂降质的影响，这种问题在超分重建领域称为盲超分。现有的盲超分技术通过显式或隐式方法建模降质先验，然后将先验和原始低分数据融合以获得包含多种降质信息的训练数据，从而增强超分模型在真实世界中的泛化能力。目前盲超分思想在遥感视频超分中的应用探索尚不充分，已有的显式建模方法依赖于人工设计的降质过程，不能有效表示遥感数据复杂的降质先验。而隐式建模方法受限于训练稳定性，只能将降质建模过程融合到超分网络中，在特征层面上添加降质信息，这也限制了降质模型的表征能力，不能充分发挥盲超分思想的优势。此外，先进的盲超分方法大多针对于真实世界场景下的图像数据，没有充分考虑遥感数据具备的广域、远距离和多变场景的特点，无法直接用于遥感视频超分任务。
技术实现思路
1、有鉴于此，本专利技术提出了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，可有效解决现有技术中遥感视频超分辨率重建存在的降质先验建模问题、对齐方法问题及盲超分问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专利技术实施例提供基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，包括以下步骤：
4、s1、采用低质量遥感视频数据集训练向量量化gan模型，建立降质先验模型；所述向量量化gan模型用于建立降质码本并实现降质建模；
5、s2、将高分视频通过双三次下采样得到低分视频，利用预训练好的所述向量量化gan模型生成融合降质先验的伪低分视频，采用所述伪低分视频训练单向循环超分重建网络；
6、s3、将待处理视频输入预训练好的单向循环超分重建网络，获得对应的超分结果。
7、进一步地，所述步骤s1中的向量量化gan模型，包括：编码器、向量量化码本和解码器，通过多尺度特征提取，生成包含多种降质的低分辨率视频。
8、进一步地，所述步骤s1中的向量量化gan模型的损失函数由向量量化损失、感知损失和对抗性损失的组合组成；其中，所述向量量化损失中添加了相应的分支项，损失函数如下式表示：
9、
10、
11、其中，x、表示向量量化gan模型的低分视频输入和降质低分视频输出，、分别表示向量量化码本的输入和输出，f∈{0.5,0.25,0.125}，表示因子f对应的网络分支；训练时的输入为低质量遥感视频数据，网络在训练过程中建立并更新向量量化码本，从而建模低质量数据中包含的降质先验。
12、进一步地，所述步骤s2中的单向循环超分重建网络，通过结构剪枝和滑动窗口机制，利用连续图像帧序列进行超分辨率重建。
13、进一步地，所述步骤s2中，训练单向循环超分重建网络分两步进行：
14、第一步，在数据集上独立训练单向循环网络，此时高分-低分视频对通过双三次下采样显式获得，损失函数为损失，学习率为；
15、第二步，单向循环超分重建网络和向量量化gan模型联合训练，此时高分-低分视频对通过双三次插值和降质退化模型生成，损失函数为和的组合，学习率为，该步训练时参数更新仅针对单项循环网络进行。
16、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法：通过引入向量量化gan模型，实现了对降质先验的准确建模，提高了超分模型的泛化能力。并采用单向循环网络结构，避免了对齐方法中的计算资源大量消耗，提高了超分辨率重建效果。另外，引入盲超分思想，通过向量量化gan联合训练，充分考虑遥感数据的多样性和未知性本文档来自技高网...
【技术保护点】
1.基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤S1中的向量量化GAN模型，包括：编码器、向量量化码本和解码器，通过多尺度特征提取，生成包含多种降质的低分辨率视频。
3.根据权利要求2所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤S1中的向量量化GAN模型的损失函数由向量量化损失、感知损失和对抗性损失的组合组成；其中，所述向量量化损失中添加了相应的分支项，损失函数如下式表示：
4.根据权利要求1所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤S2中的单向循环超分重建网络，通过结构剪枝和滑动窗口机制，利用连续图像帧序列进行超分辨率重建。
5.根据权利要求4所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤S2中，训练单向循环超分重建网络分两步进行：
【技术特征摘要】
1.基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤s1中的向量量化gan模型，包括：编码器、向量量化码本和解码器，通过多尺度特征提取，生成包含多种降质的低分辨率视频。
3.根据权利要求2所述的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法，其特征在于，所述步骤s1中的向量量化gan模型的损失函数由向量量...
【专利技术属性】
技术研发人员：张浩鹏，魏小源，姜志国，赵丹培，谢凤英，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。