跨尺度图相似引导聚合系统、方法及应用技术方案

本发明专利技术属于图像处理技术领域，公开了跨尺度图相似引导聚合系统、方法及应用，用于遥感图像语义分割，该系统包括两个独立的子任务分支，称为语义特征提取分支和边界特征提取分支，在语义特征提取分支中，引入了跨尺度图交互模块CGI构建图结构，并利用图卷积推理并聚合跨尺度节点之间的关联关系，以增强遥感特征的表征能力；在边界特征提取分支中，引入了多尺度相似性引导聚合模块MSA以提取多尺度边界特征，以改善边缘特征对语义分割的辅助效果。以改善边缘特征对语义分割的辅助效果。以改善边缘特征对语义分割的辅助效果。

【技术实现步骤摘要】
跨尺度图相似引导聚合系统、方法及应用


[0001]本专利技术属于图像处理
，特别涉及一种跨尺度图相似引导聚合系统、方法及应用。

技术介绍

[0002]遥感图像被广泛应用于如环境监测、土地资源管理和灾害评估等方面，在应用时，语义分割是遥感图像的关键技术之一，是将输入图像中每个像素划分为一个语义类别。然而，遥感图像具有多样的地球物理特性、计算量大等特点，因此很难实现有效的语义分割。
[0003]近年来，卷积神经网络凭借其强大的特征提取能力极大促进了遥感图像语义分割的发展。完全卷积网络(FCN)首先将全连接层修改为卷积层，使其成为全卷积的网络，实现像素级别的端到端训练。随即，为了更好的恢复图像细节信息，一种“编码器
‑
解码器”结构被提出，该结构利用跳转连接将低级别细节信息与高级别语义信息连接起来，使模型获得更多的细节信息，增强模型预测能力。然而，这些方法在语义信息的提取中暴露了一个共同的缺点，模型受限于固定的几何结构和有限的感受野。为此，出现了一种多尺度上下文融合技术，它应用特定的技术，如空洞卷积或金字塔池模块来聚合上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.跨尺度图相似引导聚合系统，其特征在于，包括主干网路和两个独立的子任务分支，称为语义特征提取分支和边界特征提取分支，在语义特征提取分支中，引入了跨尺度图交互模块CGI以提取语义特征，在边界特征提取分支中，引入了多尺度相似性引导聚合模块MSA以提取多尺度边界特征；所述主干网络首先使用常规的卷积操作挖掘原始图像丰富的语义特征X
i
；随即利用空洞卷积方法，以不同膨胀率改变卷积操作的感受野，进一步挖掘原始图像的多尺度语义特征F
k
，生成多尺度语义特征图；最后将主干网络所挖掘出的特征图作为输入，进入后续两个分支网络中，其中会将语义特征X
i
输入进边界特征提取分支，而将F
k
输入到语义特征提取分支中；所述语义特征提取分支包括跨尺度图交互模块GCI和图卷积网络GCN，在语义特征提取分支中，以主干网络挖掘出的原始图像的多尺度语义特征F
k
作为输入，将其输入到所述的跨尺度图交互模块CGI，通过构建不同尺度的图节点和边缘的关系，从而建立出跨尺度图模型，最后利用图卷积网络GCN推理并聚合跨尺度语义特征之间的关联关系，提取语义特征的跨尺度语义特征G
i
；所述边界特征提取分支包括多尺度相似性引导聚合模块MSA，该模块包括多尺度边界特征提取MBFE单元和相似性引导聚合SGA单元，多尺度相似性引导聚合模块MSA将含有丰富语义特征X
i
作为输入，首先会进行一次初步的特征融合，并进行有监督的训练，从而获得含有边界信息的边界特征B；随即，会将边界特征B输入进MBFE单元，MBFE单元利用具有不同膨胀率的空洞卷积来探测多尺度边界信息，提取含有多尺度的边界特征B
i
；相似性引导聚合SGA单元计算边界特征B
i
和所述语义特征提取分支输出的跨尺度语义特征G
i
之间的相似性，并执行乘法运算来聚合跨尺度语义特征G
i
和边界特征B
i
，以改善边缘特征对语义分割的辅助效果，最终输出融合了语义和边缘信息的特征图。2.根据权利要求1所述的跨尺度图相似引导聚合系统，其特征在于，所述跨尺度图交互模块CGI首先将主干网络生成的多尺度语义特征图通过特征拼接整合为跨尺度特征图，然后按照图卷积操作对跨尺度特征图进行图推理，将空间像素点转化为图模型中的节点，将计算节点的相似矩阵作为图模型的边；最后，通过图卷积网络GCN中的消息传递机制来执行跨尺度推理来聚合信息，通过跨尺度图推理的作用，使得语义分析在多尺度之间进行交互。3.权利要求1所述的跨尺度图相似引导聚合系统的应用，其特征在于，用于遥感图像语义分割。4.使用权利要求1所述的跨尺度图相似引导聚合系统进行语义分割的方法，其特征在于，具体方法如下：S1、首先将原始图像输入进主干网络中，主干网络一方面使...

【专利技术属性】
技术研发人员：聂婕，王瑞，宋宁，赵恩源，杨启成，陈昊，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：