一种基于地块感知动态记忆的场景理解方法技术

本发明专利技术公开了一种基于地块感知动态记忆的场景理解方法，研究基于地块组成的土地利用类型语义感知结构和多场景动态记忆原型结构组合的土地利用地块感知记忆网络模型，实现对土地利用地块组成及其分布的理解，有助于国土空间利用格局的生成。该方法包括以下步骤：(1)提取遥感数据集多层卷积特征；(2)构建土地利用类型语义感知结构；(3)构建多场景动态记忆原型结构；(4)训练感知动态记忆原型网络；(5)预测遥感场景地块类别。本发明专利技术与现有方法相比，基于感知动态原型记忆的遥感场景理解方法，能够有效应对地物复杂、图斑组合规则多变，地块整体性差等问题，可用于国土空间利用格局的生成。的生成。的生成。

【技术实现步骤摘要】
一种基于地块感知动态记忆的场景理解方法


[0001]本专利技术属于遥感图像处理领域，特别涉及一种基于地块感知动态记忆的场景理解方法，可用于遥感土地利用的场景理解。

技术介绍

[0002]遥感影像中土地利用现状场景理解的目的是识别遥感影像图斑的土地覆盖类型，实现土地利用现状类别的标注如住宅用地、公路用地、文体用地等，而非像素级分类所获得的简单建筑、植被等类别。近年来，随着遥感技术的发展及应用需求的提升，高分遥感影像的语义理解和场景识别方法可主要归为3类，即基于低层视觉特征、中层视觉表达以及高级语义场景理解的方法。
[0003]基于低层视觉特征的场景理解方法的思路是使用特征算子从高分遥感影像的低级视觉属性如颜色、纹理、光谱值中提取特征描述图像，如颜色直方图、Gist描述子、局部二值模式、纹理描述符、定向梯度直方图和尺度不变特征变换等方法，这类方法对空间分布和结构模式均匀的高分遥感影像有较好的分类效果，但对空间分布不均匀的场景效果不佳。
[0004]基于中层视觉表达的场景理解方法的思路是通过对局部特征进行编码，构建能表达整张影像的中层特征。常用模型有：视觉词袋、空间金字塔匹配、局部线性约束线性编码、概率潜在语义分析、改进的Fisher核、局部聚集描述符向量等。基于改进的视觉词袋模型可以有效提高遥感影像场景识别的准确率，同时将中层特征所包含的语义信息引入地物分类应用也可很好地提高分类精度，并且在小样本条件下也适用。该类方法分类精度有大幅提高，但仍受低层视觉特征和编码方法的限制，不能达到最优的分类精度。
>[0005]基于高级语义特征的场景理解方法主要是通过深度学习来学习到更抽象、更具辨别性的特征，可分为无监督特征学习和监督特征学习两类方法。无监督特征学习方法包括如k
‑
means聚类、主成分分析和稀疏编码等，可以自动从未标记的图像中学习特征，能有效替代基于手工特征的方法，但不能充分利用数据类的信息。基于深度学习的监督特征方法是通过用给定标签对神经网络进行优化来获得分类，最典型的模型是卷积神经网络(CNN)，CNN与其它网络组合用于处理更复杂的场景，如面向高分辨率遥感影像场景分类的CNN
‑
GCN双流网络，有效地融合全局特征和上下文特征并利用线性分类器实现分类。利用图神经网络模型建立复杂特征之间的高层次关系并完成特征推理和信息交互、图模型的节点信息整合和更新方法进行特征之间的关系推理和信息交互来增强特征表达。改进的Inception
‑
V3的遥感图像场景分类模型在训练过程中采用迁移学习策略，充分利用已有模型及知识，提高训练效率。
[0006]当前的场景理解的方法中，基于无监督特征学习的方法适用于单一场景，基于CNN的高层特征方法通常包含影像中的全局信息，并且可以保持空间细节信息。然而遥感影像通常存在多个地类场景，如何利用场景语义，构建地类现状场景图，以解决更实际且更具挑战性的单幅图像的多地类场景理解是研究的方向。
[0007]遥感影像中土地利用的一个地块往往包含多类型地物对象，地块内的地物覆盖复
杂、图斑组合规则多变，造成地块内碎片多、整体性差。针对这一问题，研究基于地块组成的土地利用类型语义感知结构和多场景动态记忆原型结构组合的土地利用地块感知记忆网络模型，实现对土地利用地块组成及其分布的理解，有利于国土空间利用格局的生成。

技术实现思路

[0008]本专利技术针对现有方法的不足，提出一种基于地块感知动态记忆的场景理解方法，通过对土地利用地块组成及其分布的理解，实现国土空间利用格局的生成。
[0009]本专利技术的技术方案如下：一种基于地块感知动态记忆的场景理解方法，包括如下步骤：
[0010](1)提取遥感场景图像的多层卷积特征，除去ResNet50的最后一个分类器，剩余部分作为特征提取器，剩余部分的输出作为图像提取的特征；
[0011](2)构建土地利用类型语义感知结构，分别使用大小为7
×
7，5
×
5，3
×
3，1
×
1的卷积核对第(1)步提取的多层卷积特征进行融合，兼顾计算的性能与精度，得到遥感场景图像的卷积语义图斑表达；
[0012](3)构建多场景动态记忆原型结构，将第(2)步得到的语义图斑存储在外部存储器，同时设计一个可学习的记忆检索模块来学习存储在外部存储器的语义图斑，根据自注意力机制将特征融合后输出的融合特征作为查询条件，检索与输入图像特征相似度高的语义图斑，用于识别高分遥感图像中存在的地块场景；
[0013](4)训练土地利用地块感知动态记忆原型网络，基于地块组成的土地利用类型语义感知结构和多场景动态记忆原型结构共同组成土地利用地块感知记忆网络模型，使用Adam优化器算法训练感知动态记忆原型网络，使用反向传播算法更新网络参数，直至网络收敛；
[0014](5)预测遥感场景地块类别，将测试的遥感场景输入到训练完成后的感知动态记忆原型网络中，得到遥感场景地块类别。
[0015]进一步的，步骤(1)中提取多层卷积特征，包括如下步骤：
[0016]首先，利用卷积操作、池化操作、全连接操作搭建ResNet50卷积神经网络，使用ImageNet数据集对ResNet50进行预训练，然后将遥感场景图像输入到预训练的ResNet50中提取多层卷积特征；使用ResNet50最后一个stage的卷积操作提取特征，记为x
′
∈R
M
×
N
×
C
，其中M和N为卷积特征x
′
的宽和高，C为卷积特征x
′
的通道数，即ResNet50在ImageNet上预训练好，将图像经过ResNet50网络，得到输出featuremap，即：
[0017]x
′
＝Conv(I)
[0018]其中，Conv表示特征提取过程，I是输入的遥感场景图像，x
′
对表示提取到的多层卷积特征。
[0019]进一步的，步骤(2)构建土地利用类型语义感知结构，包括如下步骤：
[0020]选用ResNet网络作为空间金字塔的主干网络，输入大规模遥感影像后经过自底向上的流程在主干网络的每个stage中提取不同尺度卷积特征，将ResNet每个stage的最后一组特征图记为{C2，C3，C4，C5}，然后对前述所提取的卷积特征进行上采样处理，保证处理后的高层卷积特征维度与自底向上的低层卷积特征维度相同，随后将高层卷积特征图与横向连接传递的低层卷积特征图对应元素加权，得到具备多尺度信息的融合特征,感知提取模
块的输出特征图记为{P2，P3，P4，P5}，即
[0021][0022]其中，P5＝C5，考虑到金字塔池化，在不同尺度下保留全局信息，而识别地类标签需要充分考虑全局信息，因此在主干网络的最后一层应用金字塔池化，得到特征向量h，即：
[0023][0024]其中，Conv1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于地块感知动态记忆的场景理解方法，其特征在于：包括如下步骤：(1)提取遥感场景图像的多层卷积特征，除去ResNet50的最后一个分类器，剩余部分作为特征提取器，剩余部分的输出作为图像提取的特征；(2)构建土地利用类型语义感知结构，分别使用大小为7
×
7，5
×
5，3
×
3，1
×
1的卷积核对第(1)步提取的多层卷积特征进行融合，兼顾计算的性能与精度，得到遥感场景图像的卷积语义图斑表达；(3)构建多场景动态记忆原型结构，将第(2)步得到的语义图斑存储在外部存储器，同时设计一个可学习的记忆检索模块来学习存储在外部存储器的语义图斑，根据自注意力机制将特征融合后输出的融合特征作为查询条件，检索与输入图像特征相似度高的语义图斑，用于识别高分遥感图像中存在的地块场景；(4)训练土地利用地块感知动态记忆原型网络，基于地块组成的土地利用类型语义感知结构和多场景动态记忆原型结构共同组成土地利用地块感知记忆原型网络模型，使用Adam优化器算法训练感知动态记忆原型网络，使用反向传播算法更新网络参数，直至网络收敛；(5)预测遥感场景地块类别，将测试的遥感场景输入到训练完成后的感知动态记忆原型网络中，得到遥感场景地块类别。2.根据权利要求1所述的一种基于地块感知动态记忆的场景理解方法，其特征在于：步骤(1)中提取多层卷积特征，包括如下步骤：首先，利用卷积操作、池化操作、全连接操作搭建ResNet50卷积神经网络，使用ImageNet数据集对ResNet50进行预训练，然后将遥感场景图像输入到预训练的ResNet50中提取多层卷积特征；使用ResNet50最后一个stage的卷积操作提取特征，记为x
′
∈R
M
×
N
×
C
，其中M和N为卷积特征x
′
的宽和高，C为卷积特征x
′
的通道数，即ResNet50在ImageNet上预训练好，将图像经过ResNet50网络，得到输出featuremap，即：x
′
＝Conv(I)其中，Conv表示特征提取过程，I是输入的遥感场景图像，x
′
对表示提取到的多层卷积特征。3.根据权利要求1所述的一种基于地块感知动态记忆的场景理解方法，其特征在于：步骤(2)构建土地利用类型语义感知结构，包括如下步骤：选用ResNet网络作为空间金字塔的主干网络，输入大规模遥感影像后经过自底向上的流程在主干网络的每个stage中提取不同尺度卷积特征，将ResNet每个stage的最后一组特征图记为{C2，C3，C4，C5}，然后对前述所提取的卷积特征进行上采样处理，保证处理后的高层卷积特征维度与自底向上的低层卷积特征维度相同，随后将高层卷积特征图与横向连接传递的低层卷积特征图对应元素加权，得到具备多尺度信息的融合特征,感知提取模块的输出特征图记为{P2，P3，P4，P5}，即其中，P5＝C5，考虑到金字塔池化，在不同尺度下保留全局信息，而识别地类标签需要充分考虑全局信息，因此在主干网络的最后一层应用金字塔池化，得到特征向量h，即：
其...

【专利技术属性】
技术研发人员：周东波，李千千，孙昊，曾超勇，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：