一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法技术

本发明专利技术公开了一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，包括如下步骤：数据获取和数据预处理；专题图制作；样本切割；多空间尺度遥感影像标注策略设计；制作样本集的标注；构建多尺度遥感影像语义解译模型；选取训练集与验证集；设定训练参数；模型训练；基于聚焦权重矩阵的遥感对象识别算法设计以及变尺度遥感影像语义解译模型的效果验证分析。本发明专利技术通过构建LSTM，得到的语义描述中名词和语义分割得到的对象掩模图之间的联系，将语义描述中的空间关系转移到对象掩模图之间，从而实现遥感对象的变尺度语义分割以及空间关系的端到端识别，引导遥感应用领域的影像分类和识别工作向更高的台阶迈步。

A remote sensing object interpretation method based on focusing weight matrix and variable scale semantic segmentation Neural Network

The invention discloses a remote sensing object interpretation method based on focusing weight matrix and variable scale semantic segmentation Neural Network, which includes the following steps: data acquisition and data preprocessing; thematic map making; sample cutting; multi spatial scale remote sensing image annotation strategy design; making sample set annotation; building multi-scale remote sensing image semantic interpretation model; selecting training set and verification Set; set training parameters; model training; design of remote sensing object recognition algorithm based on focus weight matrix and validation analysis of semantic interpretation model of variable scale remote sensing image. By constructing LSTM, the invention transfers the spatial relation in semantic description to the object mask, so as to realize the variable scale semantic segmentation of remote sensing objects and the end-to-end recognition of spatial relation, and guide the image classification and recognition work in remote sensing application field to a higher level.

【技术实现步骤摘要】
一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
本专利技术涉及图像处理
，具体涉及一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法。
技术介绍
遥感影像分类与遥感对象识别是目前遥感技术的研究热点，伴随着人工智能技术的发展，深度神经网络在高分遥感影像分析中得到广泛应用，日益成为一种有效的处理方法。目前传统基于Attention机制的LSTM模型主要应用于普通数字影像的语义描述，本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：空间位置不确定性：在不同的时刻，关注区机制产生一个14*14大小的图像特征矩阵，对应于遥感影像中196个空间位置，这往往存在一些偏差，限制了其在遥感对象识别中的应用。边界不确定性：语义描述中的名词(对象的标签)不能准确地分割图像中遥感对象的边界，因此不能识别对象之间的空间关系。空间尺度不确定性：对象周边信息复杂多变，很难通过单一尺度的模型识别遥感对象，有时需要更大尺度的语义信息来更准确识别遥感对象。由此可知，现有技术中的方法存在识别不准确的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，用以解决或者至少部分解决现有技术中的方法存在识别不准确的技术问题。本专利技术提供了一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，包括：步骤S1：获取预设研究区域的高分辨率遥感影像，并对获取的高分辨率遥感影像进行预处理；步骤S2：利用专业GIS软件进行矢量化工作，得到研究区域专题图层，并对矢量专题图栅格化，得到对应的栅格灰度图；步骤S3：对预处理后的遥感影像以及栅格灰度图进行切割，提取出两套空间尺度的数据样本集，其中，两套空间尺度的数据样本集分别包含原始影像和大尺度GT图，原始影像和小尺度GT图；步骤S4：对两套空间尺度的数据样本集中的每个遥感影像按照多空间尺度遥感影像标注策略进行内容标注，得到样本集标注；步骤S5：构建变尺度遥感影像语义解译模型，通过解译模型得到多尺度语义分割图，并通过掩膜提取算法提取出两个尺度对象的掩膜，再通过一个变尺度对象识别将U-Net网络分割出的小尺度掩膜对象与语义描述中的名词进行关联，其中，变尺度遥感影像语义解译模型包括：FCN全卷积网络、U-Net语义分割网络以及基于Attention机制的LSTM网络，其中，FCN网络用于大尺度对象分割，U-Net网络用于小尺度对象分割，LSTM用以生成包含两个空间尺度对象及其空间关系的语义描述；步骤S6：对构建的变尺度遥感影像语义解译模型中的FCN网络、U-Net语义分割网络以及LSTM网络进行训练，得到训练后的模型；步骤S7：利用训练后的模型进行遥感对象的识别，具体包括：通过LSTM网络当前时刻生成名词的聚焦权重矩阵定位到U-Net语义分割得到的掩模图中相应的小尺度对象，如果对象类标签与名词相同，则完成对象的识别。在一种实施方式中，当对象类标签与名词不相同时，所述方法还包括启动多尺度的遥感对象矫正算法，具体为：先通过升尺度方法，将当前关注区定位到的FCN语义分割得到的大尺度掩模对象，再通过降尺度方法，在候选大尺度对象中定位到类标签与名词相同的小尺度对象，从而完成对对象的识别。在一种实施方式中，所述方法还包括：对多尺度遥感影像语义解译模型进行效果验证分析。在一种实施方式中，步骤S4中的空间尺度遥感影像标注策略为：每个描述语句由小尺度遥感对象及其空间关系构成，同时隐含着一个大尺度的对象。在一种实施方式中，步骤S6具体包括：步骤S6.1：根据预设比例从数据样本集中划分训练集与验证集；步骤S6.2：分别设定FCN网络、U-Net网络以及LSTM网络的训练参数；步骤S6.3：将原始影像和大尺度GT图作为输入数据加入FCN网络，对FCN网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重；步骤S6.4：将原始影像和小尺度GT图作为输入数据加入U-Net网络，对U-Net网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重；步骤S6.5：LSTM网络训练：将原始影像经过VGG-19提取的特征和多尺度语义标注作为输入数据加入LSTM网络，对LSTM网络进行迭代训练，保存对应的结果以及训练完成后得到的最优模型权重。本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：本专利技术提供的一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，首先，获取预设研究区域的高分辨率遥感影像，并进行预处理；然后，制作研究区域专题图层，并对矢量专题图栅格化，得到对应的栅格灰度图；接着，对预处理后的遥感影像以及栅格灰度图进行切割，提取出两套空间尺度的数据样本集；接下来，对两套空间尺度的数据样本集中的每个遥感影像按照多空间尺度遥感影像标注策略进行内容标注，得到样本集标注；然后构建变尺度遥感影像语义解译模型，通过解译模型得到多尺度语义分割图，并通过掩膜提取算法提取出两个尺度对象的掩膜，再通过一个变尺度对象识别将U-Net网络分割出的小尺度掩膜对象与语义描述中的名词进行关联；再对构建的变尺度遥感影像语义解译模型中的FCN网络、U-Net语义分割网络以及LSTM网络进行训练，得到训练后的模型；最后，利用训练后的模型通过采用基于聚焦权重矩阵的遥感对象识别算法进行遥感对象的识别。与现有技术相比较，本专利技术构建了一种基于FCN,U-Net以及LSTM网络的遥感影像变尺度语义解译模型，可以生成多空间尺度的遥感影像描述，同时对图像中的对象进行分割，并端到端识别其空间关系。该方法首先将遥感影像分别输入到FCN与U-Net网络进行两个空间尺度的语义分割，使原始影像的每个像素都有两个尺度的语义标签，因此可以形成多尺度遥感对象的层次关系；其次将同一幅影像经过预训练的VGG-19后提取到的特征输入到LSTM网络中，输出两个尺度的遥感对象及其空间关系的语义描述；最后通过聚焦权重矩阵建立语义描述中名词与对象掩模图之间的关系，从而可以提高对象识别的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法的流程示意图；图2本专利技术中变尺度对象分割和图像语义标注示意图；图3本专利技术基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法的网络模型结构图。具体实施方式本专利技术的目的在于针对现有技术中的方法由于无法准确识别遥感对象的空间关系从而导致识别不准确的技术问题，提供一种方法，构建LSTM得到的语义描述本文档来自技高网...

【技术保护点】
1.一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，其特征在于，包括：/n步骤S1：获取预设研究区域的高分辨率遥感影像，并对获取的高分辨率遥感影像进行预处理；/n步骤S2：利用专业GIS软件进行矢量化工作，得到研究区域专题图层，并对矢量专题图栅格化，得到对应的栅格灰度图；/n步骤S3：对预处理后的遥感影像以及栅格灰度图进行切割，提取出两套空间尺度的数据样本集，其中，两套空间尺度的数据样本集分别包含原始影像和大尺度GT图，原始影像和小尺度GT图；/n步骤S4：对两套空间尺度的数据样本集中的每个遥感影像按照多空间尺度遥感影像标注策略进行内容标注，得到样本集标注；/n步骤S5：构建变尺度遥感影像语义解译模型，通过解译模型得到多尺度语义分割图，并通过掩膜提取算法提取出两个尺度对象的掩膜，再通过一个变尺度对象识别将U-Net网络分割出的小尺度掩膜对象与语义描述中的名词进行关联，其中，变尺度遥感影像语义解译模型包括：FCN全卷积网络、U-Net语义分割网络以及基于Attention机制的LSTM网络，其中，FCN网络用于大尺度对象分割，U-Net网络用于小尺度对象分割，LSTM用以生成包含两个空间尺度对象及其空间关系的语义描述；/n步骤S6：对构建的变尺度遥感影像语义解译模型中的FCN网络、U-Net语义分割网络以及LSTM网络进行训练，得到训练后的模型；/n步骤S7：利用训练后的模型进行遥感对象的识别，具体包括：通过LSTM网络当前时刻生成名词的聚焦权重矩阵定位到U-Net语义分割得到的掩模图中相应的小尺度对象，如果对象类标签与名词相同，则完成对象的识别。/n...

【技术特征摘要】
1.一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法，其特征在于，包括：
步骤S1：获取预设研究区域的高分辨率遥感影像，并对获取的高分辨率遥感影像进行预处理；
步骤S2：利用专业GIS软件进行矢量化工作，得到研究区域专题图层，并对矢量专题图栅格化，得到对应的栅格灰度图；
步骤S3：对预处理后的遥感影像以及栅格灰度图进行切割，提取出两套空间尺度的数据样本集，其中，两套空间尺度的数据样本集分别包含原始影像和大尺度GT图，原始影像和小尺度GT图；
步骤S4：对两套空间尺度的数据样本集中的每个遥感影像按照多空间尺度遥感影像标注策略进行内容标注，得到样本集标注；
步骤S5：构建变尺度遥感影像语义解译模型，通过解译模型得到多尺度语义分割图，并通过掩膜提取算法提取出两个尺度对象的掩膜，再通过一个变尺度对象识别将U-Net网络分割出的小尺度掩膜对象与语义描述中的名词进行关联，其中，变尺度遥感影像语义解译模型包括：FCN全卷积网络、U-Net语义分割网络以及基于Attention机制的LSTM网络，其中，FCN网络用于大尺度对象分割，U-Net网络用于小尺度对象分割，LSTM用以生成包含两个空间尺度对象及其空间关系的语义描述；
步骤S6：对构建的变尺度遥感影像语义解译模型中的FCN网络、U-Net语义分割网络以及LSTM网络进行训练，得到训练后的模型；
步骤S7：利用训练后的模型进行遥感对象的识别，具体包括：通过LSTM网络当前时刻生成名词的聚焦权重矩阵定位到U-Net语义分割得到的掩模图中相应的小尺度对象，如果对象类标签...

【专利技术属性】
技术研发人员：崔巍，何新，姚勐，王梓溦，郝元洁，穆力玮，马力，陈先锋，史燕娟，胡颖，申雪皎，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42