一种面向无人机遥感影像的语义分割方法技术

本发明专利技术公开一种面向无人机遥感影像的语义分割方法，首先进行了分块处理，然后逐块进行遥感影像语义分割，这降低了方法读取遥感影像数据的规模，减少了语义分割处理中出现内存溢出的风险。本发明专利技术设计并实现了变焦器用于提取不同空间范围的目标图像，通过构建特征化的图像金字塔，保留了目标图像中最完备的关键特征信息，能够得到最为准确的分类预测值，从而确保像元的高分类精度。本发明专利技术在实施中将图像切片采用多进程、图像语义分割并行处理方式，用以降低总体运行时间成本。本发明专利技术在分类器中使用轻量化的卷积神经网络，在确保图像分类精度不降低的情况下，最大程度地降低了模型体量，减少了方法在应用中耗占的内存及磁盘空间。

【技术实现步骤摘要】
一种面向无人机遥感影像的语义分割方法
本专利技术涉及图像语义分割领域，具体涉及一种面向无人机遥感影像的语义分割方法。
技术介绍
图像语义分割是遥感影像计算机解译中的重要手段。通过语义分割可以判定影像中的每个像元的类属，从而生成土地覆盖/利用分类图。在现阶段的土地利用分类调查中，无人机低空遥感影像数据因使用方便、获取成本低、空间分辨率高等特点极大提高了工作效率。然而无人机遥感影像相比常规的中、高空遥感(航空、卫星遥感)影像包含了更为复杂的地物目标信息，这使得传统的分割方法，如支撑向量机分类、神经网络分类、决策树分类、专家系统分类等的应用受到了较大限制。在人工智能技术快速发展的背景下，深度学习由于可以从海量图像数据中直接学习图像特征表达从而解决了较多的计算机视觉任务，如图像分类、图像识别、图像分割等。这使得深度学习正逐渐成为遥感影像地物分类的新方法。目前，应用深度学习进行遥感影像分类方法主要基于经典或先进的图像分割模型。全连接网络(FullyConvolutionalNetworks，FCN)是最基础的图像分割框架。FCN将卷积神经网络后面的全连接层全部改为卷积层，以获取低维到高维特征图。然后在不同维度特征图上进行逐像素分类预测，并对其上采样扩展到原图像尺寸，最后进行预测结果融合。由于FCN主要利用深层网络提取特征并分类，因此对小尺寸物体不敏感，且对图像中的分割细节不精确。U-Net模型是FCN的改进和延伸，它沿用了FCN进行图像语义分割的思想，即利用卷积层、池化层进行特征提取，再利用反卷积层还原图像尺寸。U-Net结构采用对称的压缩-扩展通道。压缩通道用于捕获上下文，逐层提取图像特征，扩展通道用于精确定位，还原影像的位置信息。实验证明，U-Net模型在较少训练样本下也能取得较为准确的分类结果。然而该模型通常用于二值化语义分割，对多类标签语义分割需要额外修改模型结构。SegNet模型和FCN类似，也移除了全连接层。SegNet的核心结构包括编码器网络、解码器网络和逐像素分类层。其中，编码器部分使用的是VGG-16网络的前13层卷积层，通过下采样提取图像高维特征图。每个编码器层都对应一个解码器层，用于将低分辨率的特征图进行上采样以映射到全输入分辨率特征图，以进行像素分类。数据验证显示，该模型的训练速度和分割精度都优于FCN模型，但该模型独立于像素进行分类，没有考虑像素之间的空间关系，这导致分割的结果具有块状效应。为此，DeepLab模型通过在卷积网络最后层引入全连接条件随机场(ConditionalRandomField，CRF)来恢复目标边界细节，达到准确定位。基于语义分割，Mask-RCNN的出现提升了分割任务的层次，即处理实例分割。Mask-RCNN沿用了FasterRCNN的思想，特征提取采用ResNet残差网络，另外多加了一个Mask预测分支。Mask-RCNN架构仍然采用两步法策略，首先是找出区域生成网络(RegionProposalNetwork，RPN)，然后对RPN找到的每个兴趣区进行分类、定位，并计算二值化掩膜。这使得MaskRCNN具有较高的分割精度，同时特征金字塔网络(FeaturePyramidNetwork，FPN)策略使该模型能支持多尺度检测。尽管上述分割模型在图像测试数据集上取得了较好的分割效果，但对于无人机遥感影像而言，其分割精度和运行效率仍面临巨大挑战。首先无人机遥感影像地物较为复杂，目标尺度多变，训练样本不充足，这使得上述模型的分类精度较低。其次无人机遥感影像数据规模较大，上述分割模型由于网络较深，模块较多使其模型体积庞大，这导致模型在读取影像数据，装载权重文件和预测分类结果时运行效率不高。最后分割模型在提取目标物特征方面存在信息衰减问题，特别是对于小目标物，这使得模型在分割小尺寸地物时效果不好。当前图像分割模型主要基于卷积层提取特征，如单一特征图，金字塔特征层次和特征金字塔网络。这三种方式虽然能提取高维抽象图像特征，但无一例外会损失掉部分或大部分图像原有的关键特征。相比之下，特征化的图像金字塔在所有层级都具有较强语义，能尽可能保留全部图像特征信息，且在ImageNet和COCO检测挑战赛排名靠前的算法中应用较多，但耗时较大，对计算量和内存要求也较高。可见，上述问题的存在制约了深度学习语义分割模型在无人机遥感影像分类方面的应用，这亟待解决和处理。
技术实现思路
专利技术目的：本专利技术的目的是针对现有图像语义分割算法在无人机遥感影像分类方面精度不高、效率低下问题，从而提出的一种高精度无人机遥感影像语义分割方法。该方法不仅能够实现较好分割效果，而且对遥感影像分类精度有很大提升，达到准确分割高分辨率无人机遥感影像的目的。技术方案：本专利技术所述的一种面向无人机遥感影像的语义分割方法，包括如下步骤：(1)图像预处理：对无人机遥感影像进行图像增强处理，包括图像去燥、图像锐化和图像均衡化等操作；(2)参数初始化：对方法中涉及到的参数，如图像分块尺寸s、图像切片个数n、变焦器窗口半径r、变焦级别(即焦距)f等进行初始化；(3)图像分块及切片：根据预设图像分块尺寸，对原始图像进行按块划分，并按块编号进行临时存储，为保持边界语义性完整，相邻两图像块之间要重叠m1个像元。根据块编号，创建图像分块队列，按出队顺序依次对各图像块进行语义分割处理。根据预设图像切片个数，对待处理图像块进行等距切分，为保持边界语义性完整，相邻两图像切片之间要重叠m2个像元。(4)构建图像分割进程池：根据设定CPU核数，构建进程池，将进程池中的子进程按异步非阻塞式处理任务。将上述步骤切分的各图像切片分别送入子进程，创建并行图像分割任务。(5)跳跃遍历像元，利用变焦器提取目标子图：以图像切片坐标系为基准，利用变焦器初始焦距逐像元滑动提取目标子图。当目标子图经分类后的输出概率低于阈值时，根据变焦级别进行升尺度变焦，扩大提取目标子图范围。当对目标子图分类完成后，变焦器恢复初始焦距按跨度对像元进行跳跃遍历，提取下一个目标子图。(6)分类器分类：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；(7)图像切片合并及边界融合：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理。(8)图像块合并及边界融合：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理。(9)后处理：对经上述步骤处理后的语义分割图像进行后处理，得到更为准确的遥感影像分类结果。优选的，在上述步骤(1)中，去除图像噪点(比如椒盐点)主要采用卷积核为3×3的中值和均值滤波，即利用噪声像元邻域中强度值的中间值和平均值来取代及消除掉噪声像元。为突出地物目标边界使用的图像锐化操作主要为4领域和8领域的拉普拉斯算子(LaplaceOperator)。为保持图像各区域亮度一致性及提高部分区域图像清晰度所使用的图像均衡化方法主要为全局直方图均衡化。优选的，在上述步骤(2)中，需要初始化的参数主要包括：图像分块尺寸s，图像分块重叠像元数m1，本文档来自技高网...

【技术保护点】
1.一种面向无人机遥感影像的语义分割方法，其特征在于，包括如下步骤：/n步骤1：对无人机遥感影像进行预处理；/n步骤2：对涉及到的参数进行初始化；/n步骤3：对预处理后的无人机遥感影像进行分块并编号，及切片；/n步骤4：构建图像分割进程池，将图像分割进程池中的子进程按异步非阻塞式处理任务，并将步骤3切分的各图像切片分别送入子进程，创建并行图像分割任务；/n步骤5：跳跃遍历各图像切片中的像元，利用变焦器提取目标子图；/n步骤6：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；/n步骤7：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理；/n步骤8：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理；/n步骤9：对经上述步骤处理后的语义分割图像进行后处理，得到更为准确的遥感影像分类结果。/n

【技术特征摘要】
1.一种面向无人机遥感影像的语义分割方法，其特征在于，包括如下步骤：
步骤1：对无人机遥感影像进行预处理；
步骤2：对涉及到的参数进行初始化；
步骤3：对预处理后的无人机遥感影像进行分块并编号，及切片；
步骤4：构建图像分割进程池，将图像分割进程池中的子进程按异步非阻塞式处理任务，并将步骤3切分的各图像切片分别送入子进程，创建并行图像分割任务；
步骤5：跳跃遍历各图像切片中的像元，利用变焦器提取目标子图；
步骤6：利用分类器对提取的图像切片中的目标子图进行分类，输出中心像元的分类结果，完成图像切片中的语义分割；
步骤7：对完成语义分割的各图像切片进行合并，对重叠边界进行融合处理；
步骤8：对完成语义分割的各图像块按块编号进行合并，对重叠边界进行融合处理；
步骤9：对经上述步骤处理后的语义分割图像进行后处理，得到更为准确的遥感影像分类结果。


2.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤1中，所述预处理包括图像去燥、图像锐化和图像均衡化；图像去燥操作采用卷积核为3×3的中值和均值滤波；图像锐化操作采用4领域和8领域的拉普拉斯算子；图像均衡化操作采用全局直方图均衡化。


3.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤2中，需要初始化的参数包括：图像分块尺寸s，图像分块重叠像元数m1，图像切片个数n，图像切片重叠像元数m2，进程池CPU核数，变焦器变焦级别f及平移系数c，分类概率阈值thr。


4.根据权利要求1所述的一种面向无人机遥感影像的语义分割方法，其特征在于，步骤3具体包括：根据预设图像分块尺寸，对原始图像进行按块划分，并按块编号进行临时存储，相邻两图像块之间要重叠m1个像元；根据块编号，创建图像分块队列，按出队顺序依次对各图像块进行语义分割处理；根据预设图像切片个数，对待处理图像...

【专利技术属性】
技术研发人员：于扬鸿，车明亮，杨帆，周雨航，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32