基于全卷积网络与形态学处理的遥感图像语义分割方法技术

本发明专利技术提出了一种基于全卷积网络与形态学处理的遥感图像语义分割方法，主要解决现有的遥感图像语义分割方法分割准确率低的问题，其实现方案为：构建训练样本集和验证样本集，对训练样本集进行数据增强与数据扩充预处理，分别搭建图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型这三种全卷积网络模型，训练并验证全卷积网络模型；将待测试的遥感图像输入训练好的全卷积网络中，得到语义分割初次结果，并采用形态学腐蚀与膨胀运算对语义分割图精调，得到最终的语义分割结果。本发明专利技术提升了图像的整体分割效果，可用于遥感图像的分割、分类、检测与跟踪任务。

Semantic Segmentation of Remote Sensing Images Based on Full Convolution Network and Morphological Processing

【技术实现步骤摘要】
基于全卷积网络与形态学处理的遥感图像语义分割方法
本专利技术属于图像处理
，特别涉及一种图像语义分割方法，可用于图像分类、目标识别、目标跟踪这些要求检测目标的场合。
技术介绍
遥感图像的理解与解译是当今数字图像处理领域的研究热点。作为其中的关键性工作，图像语义分割是一种对遥感图像的像素级分类任务，将整幅图像分割为若干个互不重叠的区域，每一个区域代表一种地物类别，也就是对于图像中的每一个像素点给出正确的像素级语义标注。在深度学习运用到计算机视觉领域之前，早期研究人员采用的图像语义分割方法主要有简单的像素级别“阈值法”、基于像素聚类的分割方法以及“图划分”的分割方法。这些语义分割方法大多是根据图像像素自身的低阶视觉信息来进行图像分割的。这样的方法不需要预先训练，所以计算复杂度不高。但是往往难以利用图像的全局特征，容易造成误检，导致分割准确率降低，所以在较困难的分割任务上无法取得令人满意的分割效果。近年来，随着深度学习的发展，卷积神经网络被广泛应用于图像分类与识别领域。以AlexNet(AlexKrizhevsky,ISutskever,GHinton.ImageNetClassificationwithDeepConvolutionalNeuralNetworks[C].NIPS2012:1106-1114.)为代表的经典卷积神经网络在一系列卷积层之后接若干个全连接层，将卷积层产生的特征图映射成一个固定长度的特征向量，即它的输出是当前输入图像属于某些类别的概率向量，其中概率值最大的位置所对应的类别就是网络认为该图像所属的类别。这种结构适合于图像级的分类任务，也就是一幅图像对应一个类别。2015年，JonathanLong等人提出了用于语义分割的全卷积网络(LongJ,ShelhamerE,DarrellT.FullyConvolutionalNetworksforSemanticSegmentation[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2014.)，它可以接受任意尺寸的输入图像，对传统分类网络的最后一个卷积层的输出特征图进行上采样，使得上采样的结果恢复到与输入图像相同的尺寸，从而对每一个像素产生一个预测，同时保留了原始输入图像中的空间信息，实现了像素级的图像语义分割。全卷积网络在PASCALVOC2012挑战赛中达到了62.7％的分割准确率。尽管全卷积网络模型能够实现像素级分类任务，但是它只用到了卷积神经网络的高层图像特征，损失了低层的图像边缘细节信息。2017年，ZhaoHengshuang等人在全卷积网络的基础上提出了用于高分辨率图像的语义分割网络ICNet(ZhaoH,QiX,ShenX,etal.ICNetforReal-TimeSemanticSegmentationonHigh-ResolutionImages[J].2017.)，它首先将输入图像下采样为不同的分辨率，使用低分辨率特征图提取语义信息，使用高分辨率特征图获取边缘细节，并引入级联特征融合模块进行融合。该网络中运用的下采样和模型压缩操作虽然可大大加快对图像的处理速度，但是由于这种下采样操作却降低了原始图像和特征图的分辨率，从而降低了图像语义分割的准确率。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于全卷积网络与形态学处理的遥感图像语义分割方法，以提升图像语义分割的准确率。为实现上述目的，本专利技术的技术包括如下：(1)构建训练样本集和测试样本集：获取M幅遥感图像以及每幅遥感图像对应的类别标签图像，构成样本集D，其中M≥100；从D中选择80％以上的样本作为训练样本集D1，其余的样本作为测试样本集D2；(2)对训练样本集D1进行预处理：(2a)对训练样本集D1进行数据平衡处理，得到数据平衡处理后的训练样本集D1′；(2b)随机改变D1′中的遥感图像清晰度、对比度和色度，将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D1′中，得到数据扩充处理后的训练样本集D″1；(3)搭建全卷积网络模型：(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型，并将34层ResNet-34残差网络作为PSPNet模型的基础网络，将16层VGG卷积网络作为LinkNet模型的基础网络；(3b)对ICNet模型的所有网络层的参数随机初始化；用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络；用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络，PSPNet模型和LinkNet模型的其他网络层参数随机初始化；(4)对搭建的全卷积网络模型进行训练：(4a)利用数据扩充后的训练样本集D″1中遥感图像及其对应的类别标签图像，采用随机梯度下降法，对步骤(3b)中的三个网络模型：ICNet模型、PSPNet模型和LinkNet模型，分别进行迭代训练；(4b)在步骤(4a)的迭代训练过程中，每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对测试样本集D2进行验证，Q≥5000,当三个网络模型的验证结果的准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型；(5)对待测试的遥感图像进行语义分割：(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中，得到三幅语义分割结果图；(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合，得到一幅融合后的语义分割结果图；(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理，得到最终的语义分割结果图。本专利技术与现有的技术相比，具有以下优点：1.本专利技术在数据预处理过程中，进行了数据平衡与数据扩充两种操作，从训练样本集中删除了样本类别极度不平衡的图像以及部分极端天气状况下拍摄的图像，从而减少坏样本的干扰，加快网络收敛速度，有助于后续语义分割效果的提升；随机改变了部分训练样本集中图像的清晰度、对比度和色度，扩充了样本量，有助于提高语义分割网络的泛化性能。2.本专利技术在搭建语义分割网络的过程中，为了提升现有的图像语义分割算法的准确率，采用了多模型融合的方式，具体来说，分别搭建了图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型三种全卷积网络结构，分别进行训练与测试，再将其在测试图像上分别得到的语义分割图运用像素级投票算法进行融合。结果表明，本专利技术在继承了现有的基于全卷积网络的图像语义分割算法优异的特征抽象能力的同时，提升了对图像的语义分割的整体准确率以及每一种地物类别的分割准确率。3.本专利技术对测试图像上得到的语义分割图进行了形态学处理，具体来说，运用形态腐蚀运算和形态膨胀运算填平了语义分割图中的小孔，修补小的裂缝，而不影响语义分割图的整体形状与位置，从而进一步提升了相关地物类别的分割准确率，同时也提升了对图像整体的语义分割准确率。附图说本文档来自技高网...

【技术保护点】
1.一种基于全卷积网络与形态学处理的遥感图像语义分割方法，包括如下步骤：(1)构建训练样本集和验证样本集：获取M幅遥感图像以及每幅遥感图像对应的类别标签图像，构成样本集D，其中M≥100；从D中选择80％以上的样本作为训练样本集D1，其余的样本作为验证样本集D2；(2)对训练样本集D1进行预处理：(2a)对训练样本集D1进行数据平衡处理，得到数据平衡处理后的训练样本集D′1；(2b)随机改变D′1中的遥感图像清晰度、对比度和色度，将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D′1中，得到数据扩充处理后的训练样本集D″1；(3)搭建全卷积网络模型：(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型，并将34层ResNet‑34残差网络作为PSPNet模型的基础网络，将16层VGG卷积网络作为LinkNet模型的基础网络；(3b)对ICNet模型的所有网络层的参数随机初始化；用在ImageNet数据集上预训练过的ResNet‑34残差网络的权重初始化PSPNet模型的基础网络；用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络，PSPNet模型和LinkNet模型的其他网络层参数随机初始化；(4)对搭建的全卷积网络模型进行训练：(4a)利用数据扩充后的训练样本集D″1中遥感图像及其对应的类别标签图像，采用随机梯度下降法，对步骤(3b)中的三个网络模型：ICNet模型、PSPNet模型和LinkNet模型，分别进行迭代训练；(4b)在步骤(4a)的迭代训练过程中，每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集D2进行验证，Q≥5000,当三个网络模型的验证结果的准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型；(5)对待测试的遥感图像进行语义分割：(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中，得到三幅语义分割结果图；(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合，得到一幅融合后的语义分割结果图；(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理，得到最终的语义分割结果图。...

【技术特征摘要】
1.一种基于全卷积网络与形态学处理的遥感图像语义分割方法，包括如下步骤：(1)构建训练样本集和验证样本集：获取M幅遥感图像以及每幅遥感图像对应的类别标签图像，构成样本集D，其中M≥100；从D中选择80％以上的样本作为训练样本集D1，其余的样本作为验证样本集D2；(2)对训练样本集D1进行预处理：(2a)对训练样本集D1进行数据平衡处理，得到数据平衡处理后的训练样本集D′1；(2b)随机改变D′1中的遥感图像清晰度、对比度和色度，将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D′1中，得到数据扩充处理后的训练样本集D″1；(3)搭建全卷积网络模型：(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型，并将34层ResNet-34残差网络作为PSPNet模型的基础网络，将16层VGG卷积网络作为LinkNet模型的基础网络；(3b)对ICNet模型的所有网络层的参数随机初始化；用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络；用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络，PSPNet模型和LinkNet模型的其他网络层参数随机初始化；(4)对搭建的全卷积网络模型进行训练：(4a)利用数据扩充后的训练样本集D″1中遥感图像及其对应的类别标签图像，采用随机梯度下降法，对步骤(3b)中的三个网络模型：ICNet模型、PSPNet模型和LinkNet模型，分别进行迭代训练；(4b)在步骤(4a)的迭代训练过程中，每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集D2进行验证，Q≥5000,当三个网络模型的验证结果的准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型；(5)对待测试的遥感图像进行语义分割：(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中，得到三幅语义分割结果图；(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合，得到一幅融合后的语义分割结果图；(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理，得到最终的语义分割结果图。2.根据权利要求1所述的方法，其特征在于，(2a)中对训练样本集D1中的样本进行数据平衡处理，实现如下：(2a1)将训练样本集D1中在多云、大雪、大雾极端天气状况下拍摄的遥感图像挑选出来，计算每张遥感图像对应的类别标签图像中所有目标地物所在区域像素点的个数...

【专利技术属性】
技术研发人员：焦李成，吴漪楠，皮兆亮，李玲玲，张梦璇，屈嵘，杨淑媛，侯彪，唐旭，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61