一种双源遥感数据语义分割方法技术

一种双源遥感数据语义分割方法，本发明专利技术涉及双源遥感数据语义分割方法。本发明专利技术为了解决现有单源数据分割方法效率低以及多源分割方法精度低的问题。本发明专利技术将全卷积的网络模型应用到双源遥感数据的处理中，并采用迁移学习的方法，使用ImageNet数据集对设计的网络结构进行预训练。将高分辨率遥感数据和LiDAR DSM数据通过卷积神经网络，进行高层次和特征提取和融合，利用融合之后的特征信息进行语义分割。本方法充分利用到了高分辨遥感数据丰富的地物信息和LiDAR DSM数据精准的距离信息，提高了遥感数据语义分割的精度，总体分割精度较单一的高分辨遥感数据相比提高了5％，可达到90％。本发明专利技术用于遥感图像处理领域。

【技术实现步骤摘要】
一种双源遥感数据语义分割方法
本专利技术涉及遥感图像处理领域，具体涉及双源遥感数据语义分割方法。
技术介绍
语义分割，顾名思义，就是根据每个像素的语义信息进行分割，同一语义的像素被赋予相同的颜色，既能够分割成不同区域，又能识别出其中的内容，是遥感图像处理的基本任务之一。随着遥感数据应用范围的逐渐变大，对遥感图像数据信息提取能力要求越来越高，数据间的联合应用已经成为遥感数据发展的趋势。传统的单一遥感数据的处理方法不能够利用多源遥感数据信息丰富的优势，而现有多源遥感数据处理方法没有充分挖掘各个数据间的特点，很难满足遥感数据应用的精度需求。因此，迫切需要在充分认识各种遥感数据特点的基础上，研究有针对性的多源数据处理和分析方法，提高遥感数据的信息提取能力。高分辨率的遥感图像含有丰富的地物信息，与传统的中低分辨率遥感数据相比，高分辨率的数据可以清楚地表达地物目标的特征分布和空间关联，可分辨出地物目标内部更为详细的结构组成，为解译分析提供良好的条件和基础，但高分辨率的数据激光探测及测距系统(LightDetectionandRanging，LiDAR)是一种通过向目标发射激光以获取地物信息的先进探测方式，可用于获取精确的三维空间信息。LiDAR系统获取的点云数据经过去噪，栅格化等简单处理便可得到数字表面模型(DigitalSurfaceModel，DSM)，DSM数据包含了建筑物，树木等地物丰富的高程信息，相同高度的目标属于同一类别的可能性比较大，所以DSM数据对于分割任务有很大帮助。
技术实现思路
本专利技术的目的是为了解决现有单源数据分割方法效率低以及多源分割方法精度低的缺点，而提出一种双源遥感数据语义分割方法。一种双源遥感数据语义分割方法包括以下步骤：步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDARDSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；所述LiDARDSM数据为高分辨遥感数据对应的高度信息；步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDARDSM数据；步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到featureh-res和featuredsm；所述featureh-res为高分辨率遥感数据的特征，featuredsm为LiDARDSM数据的特征；步骤四：对步骤三得到的featureh-res和featuredsm进行融合，得到双源遥感数据的特征featurestack；步骤五：搭建双源数据融合语义分割网络，将步骤四得到的featurestack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征featurestack，将测试样本的双源遥感数据的特征featurestack输入训练后的双源数据融合语义分割网络中进行测试。双源遥感数据指的是两种不同数据获取方式的高分辨率的遥感数据和其相对应的激光雷达数据。运用卷积神经网络强大的特征提取能力，通过将高分辨的遥感数据和激光雷达数据进行高层次的特征融合，来实现双源遥感数据的语义分割。本专利技术的有益效果为：本专利技术设计了针对高分辨的遥感数据和LiDARDSM数据的深度卷积神经网络结构，采用全卷积的网络结构对双源遥感数据进行特征提取，然后在深层次的特征层进行信息融合，再输入到新的语义分割网络中进行训练，实现双源遥感数据的精细化语义分割。总体分割精度较单一的高分辨遥感数据相比提高了5％，可达到90％。本专利技术将全卷积的网络模型应用到双源遥感数据的处理中，并采用迁移学习的方法，使用ImageNet数据集对设计的网络结构进行预训练。将高分辨率遥感数据和LiDARDSM数据通过卷积神经网络，进行高层次和特征提取和融合，利用融合之后的特征信息进行语义分割。本方法充分利用到了高分辨遥感数据丰富的地物信息和LiDARDSM数据精准的距离信息，提高了遥感数据语义分割的精度，为后续的数据处理打下良好的基础。附图说明图1为双源遥感数据语义分割原理框图；图2为单源遥感数据特征提取网络；图3为迁移学习应用到语义分割模型；图4为高分辨率数据特征提取结构；图5为DSM数据特征提取结构；图6为双源遥感数据特征融合的语义分割结构。具体实施方式具体实施方式一：如图1所示，一种双源遥感数据语义分割方法包括以下步骤：步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDARDSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；所述LiDARDSM数据为高分辨遥感数据对应的高度信息；步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDARDSM数据；步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到featureh-res和featuredsm；所述featureh-res为高分辨率遥感数据的特征，featuredsm为LiDARDSM数据的特征；步骤四：对步骤三得到的featureh-res和featuredsm进行融合，得到双源遥感数据的特征featurestack；步骤五：搭建双源数据融合语义分割网络，将步骤四得到的featurestack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征featurestack，将测试样本的双源遥感数据的特征featurestack输入训练后的双源数据融合语义分割网络中进行测试。将测试样本输入到整体网络中进行语义分割。将待测试高分辨率数据和LiDARDSM数据输入到对应的特征提取网络中进行特征提取，然后将两个网络第5个池化层后提取到的特征进行特征融合，再输入到语义分割网络结构中，进行语义分割。通过网络输出的分割结果图与测试样本本身的标签对比可以计算出整个语义分割系统的分割精度的定量衡量。本专利技术方法结合双源的高分辨率遥感数据和LiDARDSM数据的优势，将它们进行结合便可同时利用丰富的地物信息和精确的距离信息，形成优势互补。利用深度卷积网络的方法对结合的信息进行深层的特征学习与提取，再通过有监督的微调，结束整个深层网络的训练过程，最后完成双源遥感数据的语义分割工作。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中对双源遥感数据进行预处理，得到预处理后的双源遥感数据的具体过程为：遥感数据的预处理工作。遥感图像数据一般尺寸比较大，不容易进行训练，将分辨率为m×n，含有c个波段的遥感图像(遥感数据为遥感图像)和其对应的标签裁剪成N(1≤N≤10000)个384×384×c的图像；其中c代表数据的波段数，将每个图像进行线性归一化处理，归一化到[0，1]之间，映射关系表达式如下：其中Xnorm为归一化后的数据，X为原始数据，Xmax、Xmin分别为原始数据集的最大值和最本文档来自技高网...

【技术保护点】
1.一种双源遥感数据语义分割方法，其特征在于：所述双源遥感数据语义分割方法包括以下步骤：步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDAR DSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；所述LiDAR DSM数据为高分辨遥感数据对应的高度信息；步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDAR DSM数据；步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到featureh‑res和featuredsm；所述featureh‑res为高分辨率遥感数据的特征，featuredsm为LiDAR DSM数据的特征；步骤四：对步骤三得到的featureh‑res和featuredsm进行融合，得到双源遥感数据的特征featurestack；步骤五：搭建双源数据融合语义分割网络，将步骤四得到的featurestack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征featurestack，将测试样本的双源遥感数据的特征featurestack输入训练后的双源数据融合语义分割网络中进行测试。...

【技术特征摘要】
1.一种双源遥感数据语义分割方法，其特征在于：所述双源遥感数据语义分割方法包括以下步骤：步骤一：对双源遥感数据进行预处理，得到预处理后的双源遥感数据；所述双源遥感数据包括高分辨率遥感数据和LiDARDSM数据；将预处理后的双源遥感数据分为训练样本和测试样本；所述LiDARDSM数据为高分辨遥感数据对应的高度信息；步骤二：搭建单源遥感数据特征提取网络，采用ImageNet数据集对搭建后的单源数据特征提取网络进行预训练；所述单源遥感数据为高分辨率遥感数据或LiDARDSM数据；步骤三：采用预处理后的训练样本对预训练后的单源遥感数据特征提取网络进行训练，提取得到featureh-res和featuredsm；所述featureh-res为高分辨率遥感数据的特征，featuredsm为LiDARDSM数据的特征；步骤四：对步骤三得到的featureh-res和featuredsm进行融合，得到双源遥感数据的特征featurestack；步骤五：搭建双源数据融合语义分割网络，将步骤四得到的featurestack输入双源数据融合语义分割网络中进行训练，得到训练后的双源数据融合语义分割网络；步骤六：采用测试样本重复步骤三和步骤四，得到测试样本的双源遥感数据的特征featurestack，将测试样本的双源遥感数据的特征featurestack输入训练后的双源数据融合语义分割网络中进行测试。2.根据权利要求1所述一种双源遥感数据语义分割方法，其特征在于：所述步骤一中对双源遥感数据进行预处理，得到预处理后的双源遥感数据的具体过程为：对于大尺寸的遥感图像数据，将其裁剪成相应的易于训练的小尺寸图像数据，将分辨率为m×n，含有c个波段的遥感图像数据和对应的标签裁剪成N个384×384×c的图像；其中c代表数据的波段数，将每个图像进行线性归一化处理，归一化到[0，1]之间，映射关系表达式如下：其中Xnorm为归一化后的数据，X为原始数据，Xmax、Xmin分别为原始数据集的最大值和最小值。3.根据权利要求2所述一种双源遥感数据语义分割方法，其特征在于：所述步骤二中搭建单源遥感数据特征提取网络具体为：所述单源遥感数据特征提取网络包括16个卷积层和1个反卷积层，其中前15个卷积层后分别设置激活...

【专利技术属性】
技术研发人员：陈雨时，张悦，何欣，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23