一种基于树形结构的遥感图像分割网络制造技术

本发明专利技术涉及一种基于树形结构的遥感图像分割网络，属于计算机视觉技术领域。所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLab V3+网络模型，且所述DeepLab V3+网络模型包括编码器部分和解码器部分。所述树形处理模块的构建方法包括构建混淆矩阵、计算下三角矩阵、建立混淆无向完全图、对所述混淆无向完全图进行迭代的割边操作及得到所示其中树形处理模块。本发明专利技术能够对易混淆的像素更好地区分，得到更准确的分割结果，有效提升了高分辨率遥感图像语义分割整体精度，其中易混淆类别数据的分割准确率提高显著。

A Remote Sensing Image Segmentation Network Based on Tree Structure

【技术实现步骤摘要】
一种基于树形结构的遥感图像分割网络
本专利技术涉及一种基于树形结构的遥感图像分割网络，具体为一种混合DeepLabV3+和树形结构的遥感图像分割网络，属于计算机视觉

技术介绍
高分辨率遥感图像语义分割是指为图像中的每一个像素分配语义标签的任务。近年来，随着遥感测绘技术的高速发展，我们已经可以轻而易举地获得地面采样间隔(GSD)为5至10厘米的超高分辨率的光学遥感图像。以此为基础，如何准确高效地对这些图像进行分割成为遥感图像分割领域中的研究热点。对于超高分辨率分遥感图像的数据，大多数传统方法依赖以人工设计特征的受监督分类器来进行分割处理。而人工设计的特征往往只能表达低级的语义信息，深度学习技术则可以充分挖掘图像中的高级语义信息特征。深度学习技术已经在计算机视觉领域中取得了巨大的成功，例如图片分类、目标检测、语义分割等。深度卷积神经网络接收原始数据输入，以端到端的结构通过学习，最终根据特定任务得到输出结果。对于多分类的遥感图像分割任务，由于易被混淆的类别数据在空间分布上通常是相邻分布的，如图4所示，因为一般的网络模型很难学习到有效的特征表示，因此分割的准确率并不高。遥感图像语义分割的本质是对房屋、车辆、道路、植被、海洋冰等地表形态进行像素级分类。遥感图像来源于航空无人机或光谱传感器的图像。早期遥感图像分割研究主要以图论为基础。例如传统方法中的将最小生成树算法与MumfordShah理论相结合的遥感图像分割方法。对于监督学习，大多数分割方法都是基于人工手工选择特征的。这些特征通常很复杂，但是也只能表达低级或中级的语义信息描述。随着遥感技术的发展，我们现在可以方便地获取大量的高超分辨率(VHR，very-high-resolution)遥感图像。这些图像通常具有丰富的上下文信息，使得大多数传统的分割方法都不适用。卷积神经网络(CNN，Convolutionneuralnetwork)最初通过基于区域的训练来学习像素的语义表示。完全卷积网络(FCN)是最先应用于图像分割的网络模型，它用卷积层替换所有的全连接层，以允许任意大小的图像作为输入进行分割。此后，反卷积网络((DeconvNet))、SegNet、RefineNet、U-Net等网络模型接连被引入遥感图像分割领域，用来解决超高分立案率遥感图像的分割精度不高的难题。虽然整体的分割准确率已经相比传统方法大大提高，但是对于易混淆的数据类别，例如灌木与树木、建筑和不透水表面还是会存在分割相互错乱的情况。
技术实现思路
为解决易混淆类别数据分割准确率低的问题，本专利技术的目的在于提供一种混合DeepLabV3+和树形结构的遥感图像分割网络，针对超高分辨率遥感图像中的易混淆类别数据的分割问题，提高其分割精度。本专利技术的目的是通过以下技术方案实现的：一种基于树形结构的遥感图像分割网络，所述遥感图像分割网络为DeepLabV3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLabV3+网络模型，且所述DeepLabV3+网络模型包括编码器部分和解码器部分；所述树形处理模块的构建方法包括以下步骤：步骤1，利用先验的分割结果，计算分割图中的所有像素，构建混淆矩阵A，混淆矩阵A中aij表示第i行第j列的像素数据，其中所述混淆矩阵A的第i行表示该像素数据被预测的类别，第j列表示该像素数据实际的类别；步骤2，将混淆矩阵A中相应行列的元素aij与aji相加，得到相对应的下三角矩阵B，bij表示的是第i类和第j类数据的混淆度；步骤3，建立混淆无向完全图：将下三角矩阵B看作一个无向图的关联矩阵，在无向图中，每个节点表示一个类别，节点与节点之间边的权值表示两个节点的混淆程度，将下三角矩阵B中bij的值作为混淆无向完全图节点i与节点j之间的边的权值；步骤4，对所述混淆无向完全图进行迭代的割边操作：每次遍历图中所有未被割去的边，选中其中权值最小的一条将其割去，并检查无向图是否被分割为两个子图；若原图没有被分成两个子图，则在剩余未选择的边中继续选择权值最小的一条将其割去并重复操作该步骤4；若原图被分为了两个子图，则对每一个子图重复操作该步骤4；步骤5，得到树形处理模块：对于步骤4中每一次分为两个子图时，将两个子图的点集分别作为树形结构原先根节点的两个子节点，当所有的节点都被分离出来，树形处理模块构建完成。进一步的，所述DeepLabV3+网络模型中的编码器部分的MiddleFlow块包含两个Xception单元。进一步的，所述树形处理模块为一个具有6个叶子节点的二叉树状模型，且每一个节点均为一个ResNeXt单元。进一步的，所述树形处理模块的构建方法中步骤1中混淆矩阵A为6*6的矩阵；步骤3中所述混淆无向完全图中共有6个顶点。进一步的，所述遥感图像分割网络为全卷积网络，不存在全连接层；在树形处理模块之后，所有特征图被送入一个1*1的卷积层，并通过SoftMax函数进行输出。本专利技术的有益效果如下：本专利技术不仅对DeepLabV3+做出了修改，使其适用于多尺度、多模态的数据，并在之后添加和连接树形神经网络处理模块。所述树形处理模块是通过建立混淆矩阵、提取混淆图、图分割构建出来的，能够对易混淆的像素更好地区分，得到更准确的分割结果。本专利技术在ISPRS(国际摄影测量与遥感学会)委员会提供的两个不同城市的遥感影像集分别进行了实验，实验结果表明我们所提出的结合DeepLabV3+和树形结构的网络，有效提升了高分辨率遥感图像语义分割整体精度，其中易混淆类别数据的分割准确率提高显著。附图说明图1为本专利技术所述基于树形结构的遥感图像分割网络结构示意图；图2为本专利技术所述DeepLabV3+网络模型示意图；图3为本专利技术所述树形处理模块示意图；图4为光学遥感图像实例；图5为树形处理模块构建方法示意图；图6为实施例中迭代割边处理的图割算法示意图；图7为树形处理模块构建实例图；图8为实施例中ISPRS数据集示意图；图9为实施例中影像重叠策略示意图；图10位实施例中测试集图片的全局和局部分割结果。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。一种基于树形结构的遥感图像分割网络，所述遥感图像分割网络为DeepLabV3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块。分割模块选用的是沙漏状的编码-解码模型(encoder-decodernetworks)，如图2所示，本专利技术选用DeepLabV3+网络模型作为分割模块，且所述DeepLabV3+网络模型主要由两部分组成：编码器部分和解码器部分。相比于原来的DeepLabV3+结构，因为训练所用的图像数据和计算资源有限，本专利技术将编码器部分的MiddleFlow块中的Xception单元由16个降为了2个。由于ISPRS遥感数据集一共包含6类数据，所述树形处理模块为一个具有6个叶子节点的二叉树状模型，且每一个节点均为一个ResNeXt单元，其结构如图3所示。ResNeXt单元可以不仅避免训练中出现梯度消失的现象，而且通过减少超参数的数量来减小显存的训练开销。所本文档来自技高网...

【技术保护点】
1.一种基于树形结构的遥感图像分割网络，其特征在于，所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLab V3+网络模型，且所述DeepLab V3+网络模型包括编码器部分和解码器部分；所述树形处理模块的构建方法包括以下步骤：步骤1，利用先验的分割结果，计算分割图中的所有像素，构建混淆矩阵A，混淆矩阵A中aij表示第i行第j列的像素数据，其中所述混淆矩阵A的第i行表示该像素数据被预测的类别，第j列表示该像素数据实际的类别；步骤2，将混淆矩阵A中相应行列的元素aij与aji相加，得到相对应的下三角矩阵B，bij表示的是第i类和第j类数据的混淆度；

【技术特征摘要】
1.一种基于树形结构的遥感图像分割网络，其特征在于，所述遥感图像分割网络为DeepLabV3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLabV3+网络模型，且所述DeepLabV3+网络模型包括编码器部分和解码器部分；所述树形处理模块的构建方法包括以下步骤：步骤1，利用先验的分割结果，计算分割图中的所有像素，构建混淆矩阵A，混淆矩阵A中aij表示第i行第j列的像素数据，其中所述混淆矩阵A的第i行表示该像素数据被预测的类别，第j列表示该像素数据实际的类别；步骤2，将混淆矩阵A中相应行列的元素aij与aji相加，得到相对应的下三角矩阵B，bij表示的是第i类和第j类数据的混淆度；步骤3，建立混淆无向完全图：将下三角矩阵B看作一个无向图的关联矩阵，在无向图中，每个节点表示一个类别，节点与节点之间边的权值表示两个节点的混淆程度，将下三角矩阵B中bij的值作为混淆无向完全图节点i与节点j之间的边的权值；步骤4，对所述混淆无向完全图进行迭代的割边操作：每次遍历图中所有未被割去的边，选中其中权值最小的一条将其割去，并检查无向图是否被分割为两个子图；若原图没...

【专利技术属性】
技术研发人员：岳凯，李瑞瑞，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：北京,11