一种预测无标签遥感影像地表覆盖类别的深度学习方法技术

本发明专利技术涉及一种预测无标签遥感影像地表覆盖类别的深度学习方法。充分发挥生成对抗网络在学习不同分布的数据域之间的映射方式中的优势，采用在像素级空间、特征级空间、输出级空间三个空间维度将源域数据分布映射到目标域数据分布的方式，用映射后的源域数据以及对应标签训练分割模型，再用该模型来预测目标域数据的地表覆盖类别，解决了以往预测方法中由于目标域数据没有标签导致预测类别不准等问题。本发明专利技术具有如下优点：鲁棒性强，可适应不同尺度的不同影像风格的无标签影像数据，不仅能够提供准确的地表覆盖分类结果，还能够将源域影像的风格转换为目标域影像的风格，可以应用于城市规划、地表覆盖变化检测、地图的制作及更新等领域。

【技术实现步骤摘要】
一种预测无标签遥感影像地表覆盖类别的深度学习方法
本专利技术涉及一种基于生成对抗网络的无标签遥感影像地表覆盖自动分类方法，可自动完成任意无标签遥感影像的地表覆盖分类工作，有效提高遥感影像地表覆盖分类结果，减少人工干预，提高分类速度，辅助地图制作及更新，所生产的地表覆盖分类数据能够广泛应用于城市规划、地表覆盖变化检测、灾害应急等领域。
技术介绍
地表覆盖分类图作为一种基础地理数据，在地表覆盖变化检测、灾害应急、城市规划、地图绘制及更新等方面承担着重要的作用。然而目前地表覆盖分类图的构建及更新仍依赖于人工操作，费时又费力。作为获取地球表面几何和物理信息的最重要的地球观测技术之一，遥感技术得到飞速发展，使得从高分辨率遥感影像中对地表覆盖图进行分类受到越来越多的关注。但是在实际应用生产中，从高分辨率影像中进行地表覆盖分类面临诸多困难。例如，受光照，大气层阻挡等的影响，高分辨率遥感影像中不同地物类型之间的外观差别不大，在光照条件较差的情况下获取的影像数据更是常常难以辨识，导致误判；除此之外，由于地表覆盖类型处于实时地动态变化中，每次更新地表覆盖分类图时都需要从零开始更新，工作量巨大且漏更新的区域较多。深度学习中的卷积神经网络在图像检索、图像分类、目标检测中展现出强大的性能。卷积神经网络通过从图像的低级语义信息中逐步提取高级语义信息，获得最终的结果，且对场景变化具有更好的鲁棒性。将深度学习技术与遥感影像结合，从遥感影像中自动化地表覆盖分类图通常的做法是利用有标签影像的图像语义分割方法。语义分割方法就是通过卷积神经网络对影像进行逐像素分类，进而遥感影像的地表覆盖图进行分类。但是传统语义分割方法需要同时利用影像及其对应的标签数据训练模型，由于通常情况下目标域的标签难以获得，人工重新标注费时费力费财，所以只能利用现有的带标签的影像数据训练语义分割网络，再利用该训练完毕的模型去预测目标域影像中的地表覆盖类别。但由于源域影像数据分布与目标域影像的数据分布之间存在巨大的差异，直接利用源域影像训练的语义分割模型预测目标域影像中的地表覆盖类别取得的效果往往很差。因此，缩小源域影像数据分布和目标域影像数据分布之间的差异，利用减小数据分布差异之后的源域影像训练语义分割模型从而提升预测目标域地表覆盖分类结果的准确度是遥感影像地表覆盖分类研究的趋势，一种预测无标签遥感影像地表覆盖类别的深度学习方法至关重要。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于生成对抗网络的无标签遥感影像地表覆盖自动分类框架，可自动完成任意影像风格的无标签遥感影像的地表覆盖分类工作，利用生成对抗网络在分别在像素级空间、特征级空间、输出级空间三个空间维度将源域数据分布映射到目标域数据分布，缩小源域和目标域之间的数据分布差异，从而克服传统语义分割方法在跨域的地表覆盖分类任务中分类性能明显下降的缺点，得到接近于有标签情况下的地表覆盖分类任务的性能表现。此外，还能够生成将源域影像的风格转换成目标域影像风格之后的中间结果，该中间结果可用于提升其他的诸如跨域影像的建筑物位置检测等计算机视觉任务的性能。实现本专利技术目的采用的技术方案是：一种预测无标签遥感影像地表覆盖类别的深度学习方法，包括如下步骤：步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标注文件构建源域数据样本库；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库；步骤2，构建全空间域自适应网络FSDAN(fullspacedomainadaptationnetwork)，该网络包括stageI和stageII两个部分，stageI部分为图像风格迁移网络，stageII部分为图像分割网络；利用步骤1构建的源域和目标域数据样本库中的数据集对全空间域自适应网络FSDAN的stageI部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成该网络的中间结果—风格迁移之后的源域影像，这一阶段包括像素级空间的域自适应和特征级空间的域自适应；步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stageII部分，然后对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。进一步的，步骤1的具体实现包括如下子步骤：步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其按地表覆盖范围进行裁剪，然后将其重采样为和源域影像具有相同的分辨率；步骤1.2，标签数据制作：将源域影像的矢量标签数据栅格化，得到栅格的地表覆盖类别标签数据；步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像以及标签数据裁剪为大小适宜的样本块。对于源域影像，若影像数据充足则直接按地表覆盖范围进行无重叠裁剪，若影像数据不充足则按地表覆盖范围进行50％有重叠裁剪；对于源域影像的标签，按照和对应源域影像相同的裁剪方式裁剪；对于目标域影像，以源域影像分辨率为基准进行影像重采样，然后按地表覆盖范围进行50％有重叠裁剪。进一步的，步骤2中所述全空间域自适应网络FSDAN包括stageI和stageII两个部分，stageI部分为图像风格迁移网络，stageII部分为图像分割网络。其中图像风格迁移网络又包括像素级空间的域自适应和特征级空间的域自适应两部分，像素级空间的域自适应网络由两个生成器GS→T和{E,U}以及两个判别器DS和DT组成，其中目标域影像生成器GS→T的结构，由三个卷积层，9个残差块，2个反卷积层以及一个获取风格化源域影像的卷积输出层组成，源域影像生成器由一个共享的编码器E和一个解码器U构成，两个判别器DS和DT的组成结构相同，其中包含5组连续堆叠的卷积层，每组中卷积核大小为4×4，前3组步长为2，最后两组步长为1，且除最后一组外每组卷积层的最后都包含一个参数为0.2的leakyReLU激活函数；特征级空间的域自适应网络由一个共享的编码器E和一个特征提取器C以及一个判别器DF组成，其中特征提取器C由三个连续的上采样块组成，每个上采样块由一个2倍上采样层、2个3×3的卷积层、一个BN层和一个ReLU激活函数构成，最后再接一个无激活函数的卷积核为1×1的卷积层和softmax函数将特征转化为输出用于训练特征提取器提取特征，判别器DF的组成结构与前述判别器DS,DT结构相同；图像分割网络主要由空间域自适应分割网络MFO-FCN以及三个判别器DO组成，MFO-FCN网络是一个由前4层VGG-16结构的卷积块组成的编码器和相对应的解码器以及在编码器和解码器对应层之间的侧向连接组成，对于解码器中每个尺度卷积块的最后一个卷积层来说，其后面都要连接一个卷积核为1×1的将特征通道数量压缩一半的卷积层、一个卷积核为1×1的将特征通道数量压缩到地表覆盖类别数量的输出卷积层以及一个softmax激活函数，每个尺度卷积块都会输出一个与其尺度相等的预测本文档来自技高网...

【技术保护点】
1.一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于，包括如下步骤：/n步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标签数据构建源域数据样本库，并将源域影像和对应的标签数据裁剪成一定大小的块；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库，并将目标域影像裁剪成一定大小的目标影像块；/n步骤2，构建全空间域自适应网络FSDAN(full space domain adaptation network)，该网络包括stage I和stage II两个部分，stage I部分为图像风格迁移网络，stage II部分为图像分割网络；/n利用步骤1构建的源域和目标域数据样本库中的数据集对全空间域自适应网络FSDAN的stage I部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成全空间域自适应网络的中间结果—风格迁移之后的源域影像；/n步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stage II部分，对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。/n...

【技术特征摘要】
1.一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于，包括如下步骤：
步骤1，对于源域影像，根据已有的地表覆盖影像以及对应的标签数据构建源域数据样本库，并将源域影像和对应的标签数据裁剪成一定大小的块；对于目标域影像，根据已有的地表覆盖影像构建目标域数据样本库，并将目标域影像裁剪成一定大小的目标影像块；
步骤2，构建全空间域自适应网络FSDAN(fullspacedomainadaptationnetwork)，该网络包括stageI和stageII两个部分，stageI部分为图像风格迁移网络，stageII部分为图像分割网络；
利用步骤1构建的源域和目标域数据样本库中的数据集对全空间域自适应网络FSDAN的stageI部分进行训练，将源域影像的风格转换成目标域影像的风格，然后生成全空间域自适应网络的中间结果—风格迁移之后的源域影像；
步骤3，利用步骤2中得到的风格迁移之后的源域影像及其对应标签和目标域影像一同送入全空间域自适应网络FSDAN的stageII部分，对目标域遥感影像进行像素级的地表覆盖分类，拼接分类结果并矢量化，得到最终的目标域影像地表覆盖分类结果的矢量文件。


2.如权利要求1所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤1的具体实现包括如下子步骤，
步骤1.1，影像预处理：对于源域影像，若待处理影像为分幅影像，则对多幅遥感影像进行拼接得到完整的影像，并将完整影像按地表覆盖范围进行裁剪，然后以某一影像分辨率为基准，对其它影像进行重采样；对于目标域影像，将其按地表覆盖范围进行裁剪，然后将其重采样为和源域影像具有相同的分辨率；
步骤1.2，标签数据制作：将源域影像的矢量标签数据栅格化，得到栅格的地表覆盖类别标签数据；
步骤1.3，样本裁剪：综合考虑计算机性能、地物大小，将遥感影像以及标签数据裁剪为大小适宜的块；对于源域影像，若影像数据充足则直接按地表覆盖范围进行无重叠裁剪，若影像数据不充足则按地表覆盖范围进行P％有重叠裁剪；对于源域影像的标签，按照和对应源域影像相同的裁剪方式裁剪；对于目标域影像，以源域影像分辨率为基准进行影像重采样，然后按地表覆盖范围进行P％有重叠裁剪。


3.如权利要求1所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤2中所述图像风格迁移网络又包括像素级空间的域自适应和特征级空间的域自适应两部分，像素级空间的域自适应网络由两个生成器GS→T和{E,U}以及两个判别器DS和DT组成，其中目标域影像生成器GS→T的结构，由三个卷积层，9个残差块，2个反卷积层以及一个获取风格化源域影像的卷积输出层组成，源域影像生成器{E,U}由一个共享的编码器E和一个解码器U构成，两个判别器DS和DT的组成结构相同，其中包含5组连续堆叠的卷积层，每组中卷积核大小为4×4，前3组步长为2，最后两组步长为1，且除最后一组外每组卷积层的最后都包含一个参数为0.2的leakyReLU激活函数；特征级空间的域自适应网络由一个共享的编码器E和一个特征提取器C以及一个判别器DF组成，其中特征提取器C由三个连续的上采样块组成，每个上采样块由一个2倍上采样层、2个3×3的卷积层、一个BN层和一个ReLU激活函数构成，最后再接一个无激活函数的卷积核为1×1的卷积层和softmax函数将特征转化为输出用于训练特征提取器提取特征，判别器DF的组成结构与前述判别器DS,DT结构相同。


4.如权利要求3所述的一种预测无标签遥感影像地表覆盖类别的深度学习方法，其特征在于：步骤2中所述图像分割网络由空间域自适应分割网络MFO-FCN以及三个判别器DO组成，MFO-FCN网络是一个由前4层VGG-16结构的卷积块组成的编码器和相对应的解码器以及在编码器和解码器对应层之间的侧向连接组成，对于解码器中每个尺度卷积块的最后一个卷积层来说，其后面都连接一个卷积核为1×1的将特征通道数量压缩一半的卷积层、一个卷积核为1×1的将特征通道数量压缩到地表覆盖类别数量的输出卷积层以及一个softmax激活函数，每个尺...

【专利技术属性】
技术研发人员：季顺平，王定盼，罗牧莹，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42