一种多级空间上下文特征指导的高分辨率遥感影像分类方法技术

本发明专利技术公开了一种多级空间上下文特征指导的高分辨率遥感影像分类方法。该方法将对象的纹理特征，几何特征和空间上下文特征作为深度学习框架的高维特征，放入到全连接分类器中进行分类训练，得到一个面向对象的多特征融合分类器，最后，使用条件随机场对对象级别的分类结果进行像素级别的空间上下文指导分类，进一步提升了分类的精度。本发明专利技术提出的多级空间上下文指导的高分辨率遥感影像分类方法，在对象分类中融入了对象的多个特征能够实现超越一般对象分类的深度学习方法，此外，还引入了像素级空间上下文指导的条件随机场方法，实现了高精度的高分辨率遥感影像分类。

A high resolution remote sensing image classification method guided by multi-level spatial context features

【技术实现步骤摘要】
一种多级空间上下文特征指导的高分辨率遥感影像分类方法专利
本专利技术属于遥感图像处理领域，涉及计算机深度学习领域，特别是涉及一种基于深度学习的面向对象高分辨率遥感图像分类方法。具体地说是一种利用深度学习网络提取多个对象特征、构建多特征融合的分类器，提高高分辨率遥感图像分类精度的方法。
技术介绍
利用卫星遥感影像进行高精度分类和解译一直以来都是遥感图像处理领域一项应用价值与挑战并存的重要内容，其对城市规划以及灾难救援有着重要的科学指导意义。随着近些年来高精度传感器技术和无人机、航拍技术的快速发展，遥感图像的空间分辨率越来越高，图像的地物特征越来越精细，数据量越来越大，传统的基于人工的分类特征提取方法在高分图像上的复杂特征提取能力难以满足地物分类的要求。近些年来随着深度学习技术以及计算机视觉分析能力的提升，利用深度学习的高层次特征提取能力进行高分辨率遥感影像分类任务成为一种高效可行的方案。目前，主流的利用深度学习进行高分辨率遥感影像分类的方法分为两类：一类是端到端的全图分类方法，该方法一般采用的网络架构是全卷积神经网络结构，即输入一张图，输出也是一张图，输出的每个点标注了相应于原图上点的类别，该方法的优点是计算量少，内存消耗低，在对每个像素点进行分类的过程中顾及到了其与周围像素点的空间关系，该方法的缺点是分类的结果边缘划分较模糊，地物的直线和直角特征容易被平滑掉，而且训练过程比较耗时，有的全卷积神经网络甚至会出现棋盘效应。另一类方法是基于对象的分类方法，该方法先对图像进行图像分割，得到每个分割后的对象，再利用固定大小的滑动窗口去裁剪每个对象，将裁剪出的图斑放入到卷积神经网络中进行分类器训练，最后将该分类器应用于每对象分类。这种取对象中的一个固定大小的图斑来进行特征抽取的方法忽略了对象的轮廓信息，且对于空间上下文特征的考虑也不足。
技术实现思路
本专利技术要解决的技术问题在于针对上述方法的不足，提出了一种综合对象纹理特征、几何特征和对象级别空间上下文特征，以及像素级别空间上下文特征的高分辨率遥感图像分类方法，实现高精度地物分类。为解决上述问题，本专利技术提供了一种多级空间上下文特征指导的高分辨率遥感影像分类方法，该方法主要包括以下步骤：步骤1，将原始遥感影像分割成多个对象；步骤2，依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在轮廓外的像素单元值赋值为0，并对每个对象进行类别标注；步骤3，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，提取纹理和几何特征；步骤4，计算图斑的形变特征，形变指数的计算方法如公式(1)和公式(2)所示；其中，Indexw是图斑在长度上的形变指数，计算方法为变形后的图斑长度w0除以变形前图斑长度w1，Indexl为图斑在宽度上的形变指数，计算方法为变形后的图斑宽度l0除以变形前图斑宽度l1；步骤5，取每个图斑的最小外接矩形框，将该矩形框长和宽扩大S倍，然后以这个外接矩形框裁剪周围的上下文图斑，输入到一个对象级别上下文特征提取器中，得到图斑的空间上下文特征，对象级别上下文特征提取器包括三个卷积层、三个最大池化层和一个金字塔池化层；步骤6，将提取到的纹理和几何特征、形变特征以及空间上下文特征进行拼接，输入到一个由若干个全连接层和Softmax分类层组成的多层感知机分类器中进行训练，从而得到一个多特征融合的对象分类器；步骤7，提取将待分类遥感影像的纹理和几何特征、形变特征以及空间上下文特征，拼接后输入到多特征融合的对象分类器中，得到对象级别分类结果图，最后使用条件随机场对该分类图进行后处理，得到像素级空间上下文指导的级别分类。进一步的，步骤3中特征提取框架的具体结构包括：1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)一个三层的金字塔池化层。进一步的，步骤5中对象级别上下文特征提取器的具体结构包括，1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)128个大小为3*3的卷积层，紧跟一个relu激活层；8)步长为2的最大池化层；9)一个三层的金字塔池化层。进一步的，步骤6中多层感知机分类器包括三个全连接层和一个Softmax分类层，第一个全连接层包括100个神经元，第二个全连接层包括10个神经元，第三个全连接层包括n个神经元，n为地物类别总数。进一步的，步骤7中使用条件随机场对该分类图进行后处理的具体实现方式如下，假设有一组随机向量X＝{x1，x2，...，xN}，每个xi对应于图像上位置为i的像素点，N是所有像素点的数目，每个像素点的标签是L＝{l1，l2，...，lk}中的一个，F＝{F1，F2，...，FN}是观测到的像素点值，那么称(F，X)是一个条件随机场，该条件随机场服从吉布斯分布；条件随机场出现的概率为公式(3)所示：P(X|F)＝exp(-E(X|F))/Z(F)(3)公式(3)中的Z(F)是归一化指数，其计算方法如公式(4)所示：Z(F)＝∑xexp(-E(X|F))(4)公式(4)中的E(X)即E(X|F)，表示吉布斯能量，条件随机场通过找到最小的E(X)得到最佳的分类结果，其中，E(X)表示为公式(5)所示：公式(5)中的为一元势函数，这里的输入为每个像素点的类别概率，类别概率从对象分类结果图中得到，为二元势函数，定义如公式(6)所示：上式中的μ(xi，xj)为决策函数，当像素点xi与xj相邻时μ(xi，xj)＝1，当不相邻时，μ(xi，xj)＝0，pi为像素点xi的光谱值，pj为像素点xj的光谱值；Ii为像素点xi的空间坐标，Ij为像素点xj的空间坐标，σα，σβ，σγ和w1、w2均为权重；当相邻像素点的像素值相似而类别标签不同时，则二元势函数越大，表明该分布出现的概率越小；通过随机场方法，对象级别的分类效果被进一步提升到像素级别的细分类。本专利技术与现有技术相比，提出了一个由对象纹理特征、几何特征和空间上下文特征组成的多特征对象分类器，提出了将形变指数引入到分类器中，最大程度地保留了对象的几何特征，将提取出的高维特征放入到多层感知机中训练得到一个多特征融合分类器，最后使用条件随机场对对象级别分类结果进行像素级别的空间上下文监督指导，实现高精度的像素级别分类效果。本专利技术方法相比于全卷积神经网络框架拥有更少的网络参数量，网络训练的速度更快，在小样本集上能够达到优于全卷积神经网络的分类精度；而且该本文档来自技高网...

【技术保护点】
1.一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于，包括如下步骤：/n步骤1，将原始遥感影像分割成多个对象；/n步骤2，依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在轮廓外的像素单元值赋值为0，并对每个对象进行类别标注；/n步骤3，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，提取纹理和几何特征；/n步骤4，计算图斑的形变特征，形变指数的计算方法如公式(1)和公式(2)所示；/n

【技术特征摘要】
1.一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于，包括如下步骤：
步骤1，将原始遥感影像分割成多个对象；
步骤2，依次读取每个分割后的对象，使用对象的轮廓边界对其进行掩膜处理，位于对象轮廓内部的像素单元值保持不变，落在轮廓外的像素单元值赋值为0，并对每个对象进行类别标注；
步骤3，将每个对象变形为N*N的图斑，输入到一个由三个卷积层、三个最大池化层和一个金字塔池化层构建的特征提取框架中，提取纹理和几何特征；
步骤4，计算图斑的形变特征，形变指数的计算方法如公式(1)和公式(2)所示；






其中，Indexw是图斑在长度上的形变指数，计算方法为变形后的图斑长度w0除以变形前图斑长度w1，Indexl为图斑在宽度上的形变指数，计算方法为变形后的图斑宽度l0除以变形前图斑宽度l1；
步骤5，取每个图斑的最小外接矩形框，将该矩形框长和宽扩大S倍，然后以这个外接矩形框裁剪周围的上下文图斑，输入到一个对象级别上下文特征提取器中，得到图斑的空间上下文特征，对象级别上下文特征提取器包括三个卷积层、三个最大池化层和一个金字塔池化层；
步骤6，将提取到的纹理和几何特征、形变特征以及空间上下文特征进行拼接，输入到一个由若干个全连接层和Softmax分类层组成的多层感知机分类器中进行训练，从而得到一个多特征融合的对象分类器；
步骤7，提取将待分类遥感影像的纹理和几何特征、形变特征以及空间上下文特征，拼接后输入到多特征融合的对象分类器中，得到对象级别分类结果图，最后使用条件随机场对该分类图进行后处理，得到像素级空间上下文指导的级别分类。


2.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤3中特征提取框架的具体结构包括：1)32个大小为3*3的卷积核，紧跟一个relu激活层；2)步长为2的最大池化层；3)64个大小为3*3的卷积层，紧跟一个relu激活层；4)步长为2的最大池化层；5)64个大小为3*3的卷积层，紧跟一个relu激活层；6)步长为2的最大池化层；7)一个三层的金字塔池化层。


3.如权利要求1所述的一种多级空间上下文特征指导的高分辨率遥感影像分类方法，其特征在于：步骤5中对象级别上下文特征提取器的具体结构包括，1)32个大小为3*3的卷积核，...

【专利技术属性】
技术研发人员：乐鹏，张晨晓，姜良存，张明达，梁哲恒，章小明，刘小芬，徐昀鹏，姜福泉，马焱，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42