一种基于全卷积神经网络的大范围遥感影像语义分割方法技术

本发明专利技术公开了一种基于全卷积神经网络的大范围遥感影像语义分割方法，包括数据标注、模型训练、预测结果三个阶段；该方法针对遥感影像高精度、大范围、多光谱信息等特点，对遥感影像进行了波段合成、影像融合、图像切分的预处理操作，对训练集使用了数据增强的技巧扩充样本的丰富程度，如果能够获取到带标记的数据集，可以先用其对模型进行训练，来目标数据模型训练的初始化，以减少人工标注的工作量。为了提高结果的准确率，本发明专利技术方法对图像进行了有重叠的网格切分，分别进行预测后，按顺序拼接预测结果图像，并进行中值滤波减少噪声和图像中不平滑的部分，最终取得了较高的准确率。

A large scale remote sensing image semantic segmentation method based on total convolution neural network

The invention discloses a method for semantic segmentation of remote sensing image in large range based on full convolution neural network, which includes three stages of data annotation, model training and prediction result. Segmentation pretreatment uses data enhancement techniques to expand the richness of the training set. If the labeled data set can be obtained, it can be used to train the model to initialize the training of the target data model to reduce the workload of manual annotation. In order to improve the accuracy of the result, the method divides the image into overlapping meshes, splices the predicted result image in sequence, and performs median filtering to reduce noise and non-smooth parts of the image, and finally achieves higher accuracy.

【技术实现步骤摘要】
一种基于全卷积神经网络的大范围遥感影像语义分割方法
本专利技术属于遥感影像识别和深度学习
，具体涉及一种基于全卷积神经网络的大范围遥感影像语义分割方法。
技术介绍
遥感是通过卫星上的传感器，对地球进行特定电磁波谱段的成像，是以航空摄影技术为基础发展起来的一门技术；通过遥感探测，能够在短时间内，对地球上大范围的地区进行多层次、多视角的观测，是获取环境信息和地球资源的重要手段。遥感技术是衡量一个国家的科技水平和综合实力的重要标志之一，我国一直十分重视遥感技术的发展，使得遥感技术得到快速发展；目前，遥感技术已广泛应用于海洋、气象、农业、军事、林业、水资源、地质环境调查、环境保护、土地利用、城市规划等各种领域。面对如此开阔的应用前景，遥感影像的信息提取技术显得尤为重要；可以说，遥感的最终目标就是为了能够从图像上提取到有用的信息，获取到知识。最基本的遥感影像信息提取有对象的分类和识别，在巨大的数据量下，人工进行分类和识别显然不再可行，需要更智能化的手段；在此基础上，才可以使遥感影像得到更多更广的应用。在这方面，随着计算机视觉和深度学习技术的发展，越来越多的方法和模型涌现，为遥感影像的信息提取提供了有力的手段。目前，高分一号(GF-1)至高分九号(GF-9)9颗卫星已经成功发射，涵盖了全色、多光谱、高光谱、雷达等众多成像类型。其中，比较有代表性的有搭载了全色和多光谱相机的高分一号卫星和高分二号卫星、搭载了C频段多极化合成孔径雷达(SyntheticApertureRadar，SAR)的高分三号卫星、搭载了高光谱相机的高分五号卫星。多光谱影像一般有4个波谱频段，通常是蓝色、绿色、红色和近红外四个波段；SAR成像只有一个通道，影像一般为灰度图像，多用于探测地形方面；高光谱影像在电磁波谱上以多个连续细分的光谱波段对目标区域同时成像，包括了紫外、可见光范围、近红外和中红外等区域。分辨率最高的是高分二号卫星，搭载有高分辨率1米全色和4米多光谱的相机，是我国自主研制的民用光学遥感卫星，也是我国第一颗达到亚米级空间分辨率的卫星，其高定位精度和快速的姿态机动能力，大大提升了卫星综合观测效能，一度达到国际先进水平，为城市的精细化管理、交通规划、各类资源调查与监测等领域的应用提供服务支撑。图像语义分割是计算机视觉中的概念，指的是根据颜色、形状和纹理等特征，将图像划分为多个互不重叠的区域，使被划分为同一个区域的部分具有相似的特征，而不同区域之间的特征具有较为明显的区别，是一种把图像分成多个具有各自特性的独立区域，并提取出感兴趣目标的技术。在高分卫星遥感影像中，可以通过图像语义分割技术，将图像中的特定目标划分标记出来，以此提取遥感影像中的特定信息，例如房屋的识别与划分、路网的识别、植被分离等等；这些都是遥感影像基础的信息提取，但是更多其他的应用需要在这个基础上进行，而基础的信息提取的准确率，直接影响到了后续的使用。
技术实现思路
鉴于上述，本专利技术提供了一种基于全卷积神经网络的大范围遥感影像语义分割方法，能够实现高效准确的大范围遥感影像语义分割。一种基于全卷积神经网络的大范围遥感影像语义分割方法，包括如下步骤：(1)获取高分辨率的遥感影像，对其进行影像融合及波段合成操作；(2)在影像融合及波段合成后的遥感影像中标记出不同类别的物体，得到标记图像；(3)设计全卷积神经网络模型，并利用遥感影像和标记图像对其进行训练以及参数微调；(4)对需要语义分割的遥感影像进行有重叠的网格切片，进而将每个切片图像输入至全卷积神经网络模型中输出得到对应的单通道灰度图像即分割预测结果；(5)最后将得到的所有分割预测结果图像有序进行拼接以及后处理。进一步地，所述步骤(1)的具体实现过程如下：1.1取遥感影像中对应波长大小为前三个波段的灰度图像分别作为RGB图像中的B通道图像、G通道图像和R通道图像，进而合成一张RGB彩色图像；1.2将上述RGB彩色图像转换到IHS彩色图像，并将其放大至与遥感影像中的全色通道灰度图像同样大小；1.3将所述全色通道的灰度图像与放大后IHS彩色图像中的I通道图像进行直方图匹配，并将匹配后的结果替代IHS彩色图像中的I通道图像；1.4将替代完成后的IHS彩色图像转换回RGB彩色图像，即完成了影像融合及波段合成操作。进一步地，所述步骤(2)的具体实现过程如下：2.1将影像融合及波段合成后遥感影像的RGB彩色图像切分成多个1500×1500大小的图块；2.2对于任一图块，利用图像标注工具用多边形描边的形式在图块中将不同类别的物体标注出来，并保存多边形的顶点位置信息以及物体所属类别信息；2.3根据类别信息将图块转换成单通道的灰度图像，该灰度图像即为标记图像，其中每个像素的灰度值即表示像素所属的物体类型，0代表背景，1,2,3,...,N对应代表不同的物体类型，N为遥感影像中所有物体总的类别数量。进一步地，所述全卷积神经网络模型的结构从输入到输出依次由4个加密模块和4个解密模块连接组成，所述加密模块从输入到输出依次由5个卷积组合层和1个池化层连接组成，所述解密模块从输入到输出依次由1个上采样层和5个卷积组合层连接组成，所述卷积组合层从输入到输出依次由1个卷积层、1个批标准化层和1个激活层连接组成；所述卷积层中的卷积核大小为3×3，步长为1，边距为1，所述激活层采样ReLU函数，所述池化层的倍数为2，所述上采样层的倍数为2；4个加密模块中的卷积核个数从输入到输出依次为64、128、256、512，4个解密模块中的卷积核个数从输入到输出依次为512、256、128、64。进一步地，所述步骤(3)中的全卷积神经网络模型接收大小为n×n的彩色图像作为输入，输出则为m×m大小的单通道灰度图像作为分割预测结果；在训练时，从遥感影像的RGB彩色图像中任意截取大小为n×n的彩色图块，使该彩色图块与标记图像中对应位置m×m大小的灰度图块作为一组样本输入至全卷积神经网络模型中，多组样本逐个输入反复学习即可完成模型训练任务，n和m为设定大于1的自然数。进一步地，所述步骤(4)中对需要语义分割的遥感影像进行有重叠的网格切片，即对该遥感影像的RGB彩色图像进行网格切片时保证相邻两个切片图像的重叠边距为k个像素，切片图像的大小为n×n，k＝n-m+2p，p为设定大于1的自然数。进一步地，所述步骤(5)的具体实现过程如下：5.1对于任一切片图像对应的分割预测结果图像，其大小为m×m，裁剪掉其上下左右各p/2个像素宽度的边缘部分；5.2将所有裁剪后的分割预测结果图像按顺序进行拼接，得到一张完整遥感影像的语义分割结果图像；5.3最后对该语义分割结果图像进行核大小为5×5的中值滤波。基于上述技术方案，本专利技术具有以下有益技术效果：(1)本专利技术针对遥感影像范围大、精度高的特点，设计了能够处理大范围遥感影像的使用深度学习分类模型的图像语义分割流程。(2)本专利技术利用深层的网络结构，提取更通用的物体特征，能够在不同的遥感影像数据集上都得到较好的应用。(3)本专利技术提出的网络模型能够在形式类似的公开数据集上进行训练，然后在较小规模的人工标注数据上进行模型微调，减少人工工作量。附图说明图1为本专利技术方法的技术流程示意图。图2为本专利技术方法中的网络模型结构示意图。具体实施方式为了更为具体地描本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络的大范围遥感影像语义分割方法，包括如下步骤：(1)获取高分辨率的遥感影像，对其进行影像融合及波段合成操作；(2)在影像融合及波段合成后的遥感影像中标记出不同类别的物体，得到标记图像；(3)设计全卷积神经网络模型，并利用遥感影像和标记图像对其进行训练以及参数微调；(4)对需要语义分割的遥感影像进行有重叠的网格切片，进而将每个切片图像输入至全卷积神经网络模型中输出得到对应的单通道灰度图像即分割预测结果；(5)最后将得到的所有分割预测结果图像有序进行拼接以及后处理。

【技术特征摘要】
1.一种基于全卷积神经网络的大范围遥感影像语义分割方法，包括如下步骤：(1)获取高分辨率的遥感影像，对其进行影像融合及波段合成操作；(2)在影像融合及波段合成后的遥感影像中标记出不同类别的物体，得到标记图像；(3)设计全卷积神经网络模型，并利用遥感影像和标记图像对其进行训练以及参数微调；(4)对需要语义分割的遥感影像进行有重叠的网格切片，进而将每个切片图像输入至全卷积神经网络模型中输出得到对应的单通道灰度图像即分割预测结果；(5)最后将得到的所有分割预测结果图像有序进行拼接以及后处理。2.根据权利要求1所述的大范围遥感影像语义分割方法，其特征在于：所述步骤(1)的具体实现过程如下：1.1取遥感影像中对应波长大小为前三个波段的灰度图像分别作为RGB图像中的B通道图像、G通道图像和R通道图像，进而合成一张RGB彩色图像；1.2将上述RGB彩色图像转换到IHS彩色图像，并将其放大至与遥感影像中的全色通道灰度图像同样大小；1.3将所述全色通道的灰度图像与放大后IHS彩色图像中的I通道图像进行直方图匹配，并将匹配后的结果替代IHS彩色图像中的I通道图像；1.4将替代完成后的IHS彩色图像转换回RGB彩色图像，即完成了影像融合及波段合成操作。3.根据权利要求1所述的大范围遥感影像语义分割方法，其特征在于：所述步骤(2)的具体实现过程如下：2.1将影像融合及波段合成后遥感影像的RGB彩色图像切分成多个1500×1500大小的图块；2.2对于任一图块，利用图像标注工具用多边形描边的形式在图块中将不同类别的物体标注出来，并保存多边形的顶点位置信息以及物体所属类别信息；2.3根据类别信息将图块转换成单通道的灰度图像，该灰度图像即为标记图像，其中每个像素的灰度值即表示像素所属的物体类型，0代表背景，1,2,3,...,N对应代表不同的物体类型，N为遥感影像中所有物体总的类别数量。4.根据权利要求1所述的大范围遥感影像语义分割方法，其特...

【专利技术属性】
技术研发人员：罗智凌，岑超，尹建伟，李莹，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33