基于空间信息增强制造技术

一种基于空间信息增强

【技术实现步骤摘要】
基于空间信息增强transformer的遥感图像语义分割方法


[0001]本专利技术涉及的是一种遥感图像处理领域的技术，具体是一种基于空间信息增强
transformer
的遥感图像语义分割方法
。

技术介绍

[0002]近年来，
U
‑
Net、FCN、SegNet、PSPNet、DeepLab
系列等卷积神经网络广泛应用于遥感图像的语义分割，但受限于卷积神经网络中卷积核有限的感受野，这类方法容易忽略遥感图像中的长程依赖性而导致其语义分割精度的下降
。
后来出现的基于
Transformer
的图片分类模型
(VIT)
能更好地利用全局信息，使得长程依赖性缺失的问题得到一定程度的解决
。
但如果直接将传统的
VIT
用于遥感图像的语义分割，会损失遥感图像内部细粒度的空间信息，从而导致遥感图像中的空间信息利用不充分，使得遥感图像的语义分割精度受限
。

技术实现思路

[0003]本专利技术针对现有遥感图像剪辑技术缺乏对局部和全局的不同尺度特征信息的提取导致丢失长程依赖性；自注意力机制不足以构建细粒度的局部空间信息，而现有语义分割网络缺乏对全局信息和局部细粒度空间信息的充分利用致使分割精度偏低的问题，提出一种基于空间信息增强
transformer
的遥感图像语义分割方法，在遥感图像语义分割时能够保证图像长程依赖性且强化空间信息的提取和融合，从而进一步提升语义分割的精度
。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于空间信息增强
transformer
的遥感图像语义分割方法，在离线阶段构建并训练包含多头自注意力
、
极坐标空间增强和空间多层感知的语义分割网络，在在线阶段对待测遥感图像进行实时分割
。
[0006]所述的语义分割网络包括：特征提取单元
、transformer
单元和损失计算单元，其中：特征提取单元从输入图像中提取出全局特征和局部特征；
transformer
单元根据全局特征和局部特征，采用多头自注意力融合计算得到中间结果注意力权值矩阵后经极坐标空间增强和空间多层感知处理，构建得到细粒度空间信息；损失计算单元基于全局特征的多分类交叉熵和细粒度空间信息的交叉熵计算得到损失函数
。
[0007]所述的特征提取单元包括：全局特征提取模块和局部特征提取模块，其中：全局特征提取模块采用
U
‑
Net
编码器对下采样过后的输入图像进行特征提取，局部特征提取模块对裁剪后的局部图像采用
ResNet
进行特征提取
。
[0008]所述的
transformer
单元为空间信息增强
transformer
，包括：多头自注意力模块
、
极坐标空间强化模块
、
图卷积神经网络和空间多层感知器
(SMLP)
，其中：多头自注意力模块输出中间结果注意力权值矩阵至极坐标空间强化模块，图卷积神经网络根据极坐标空间强化模块输出的空间信息矩阵和多头自注意力模块输出的自注意力权值矩阵卷积计算得到向量信息，空间多层感知器对向量信息进一步处理后叠加得到细粒度空间信息
。
[0009]所述的极坐标空间强化模块首先计算中间结果注意力权值矩阵中所有向量的均
值后，将其拉伸为一个正方形的注意力图矩阵，在注意力图矩阵上选择值最大的点作为坐标原点，构建极坐标矩阵和角极坐标矩阵后，将两个矩阵连接得到空间信息矩阵
。
[0010]所述的空间多层感知器对向量信息进行嵌入操作处理后，经第一卷积层
、
第一高斯误差线性函数
(GELU)
激活层
、
第一
Dropout
层后输入中间卷积层，第二
GELU
激活层
、
第二卷积层
、
第二
Dropout
层后，通过嵌入层输出含有细粒度空间信息的空间信息矩阵
。
[0011]所述的损失函数包括：作为主要损失函数的细粒度空间信息的多分类交叉熵以及作为辅助损失函数的加权后的全局特征的多分类交叉熵
。
[0012]所述的加权，其权重随着迭代次数的累加逐渐降低
。
[0013]所述的训练，包括以下步骤：
[0014]步骤
A1、
将遥感图像数据样本集分为训练集与测试集
。
[0015]步骤
A2、
读入训练集的遥感影像与对应的标签图像，为充分利用训练样本集，对原始大幅遥感影像与标签数据进行数据增强，并根据显存大小设置训练批次大小
。
[0016]所述的数据增强包括随机翻转
、
随机裁剪
。
[0017]步骤
A3、
设置数据增强参数，对遥感影像与对应标签图像做相同的数据增强
。
[0018]步骤
A4、
设置学习率
、
学习率衰减系数，得到的模型作为训练得到的语义分割网络进行测试
。
技术效果
[0019]本专利技术采用特征提取单元通过多尺度特征提取模块分别提取全局和局部特征来保证长程依赖性，降低卷积核有限感受野带来的信息丢失；在所述的
transformer
单元通过加入极坐标空间强化模块来构建细粒度局部空间信息，并加入空间多层感知器提高
transformer
对空间信息的感知能力，进一步提高语义分割精度，使所提出的模型能更准确地实现遥感图像的语义分割
。
[0020]相比现有技术，本专利技术整体解决现有基于卷积神经网络语义分割方法丢失长程依赖性的问题，并设计空间信息增强的
transformer
，进一步提高遥感图像语义分割的综合性能
。
本专利技术通过多尺度特征提取同时提取全局特征和局部特征，一定程度上保护上下文信息，减少对图像中的长程依赖性的破坏
。
本专利技术设计极坐标空间强化模块和空间多层感知器来提高遥感图像的语义分割精度，其中极坐标空间强化模块可以构建细粒度的空间局部信息，增强模型对局部空间信息的利用；空间多层感知器更进一步增强模型的空间信息感知能力
。
本专利技术创新性地采用空间信息增强的
transformer
，较传统的
transformer
方法对遥感图像的语义分割任务的具有更好的适应性，分割精度也进一步得到提升
。
附图说明
[0021]图1为本专利技术流程图；
[0022]图2为语义分割网络结构示意图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于空间信息增强
transformer
的遥感图像语义分割方法，其特征在于，在离线阶段构建并训练包含多头自注意力
、
极坐标空间增强和空间多层感知的语义分割网络，在在线阶段对待测遥感图像进行实时分割；所述的语义分割网络包括：特征提取单元
、transformer
单元和损失计算单元，其中：特征提取单元从输入图像中提取出全局特征和局部特征；
transformer
单元根据全局特征和局部特征，采用多头自注意力融合计算得到中间结果注意力权值矩阵后经极坐标空间增强和空间多层感知处理，构建得到细粒度空间信息；损失计算单元基于全局特征的多分类交叉熵和细粒度空间信息的交叉熵计算得到损失函数
。2.
根据权利要求1所述的基于空间信息增强
transformer
的遥感图像语义分割方法，其特征是，所述的特征提取单元包括：全局特征提取模块和局部特征提取模块，其中：全局特征提取模块采用
U
‑
Net
编码器对下采样过后的输入图像进行特征提取，局部特征提取模块对裁剪后的局部图像采用
ResNet
进行特征提取
。3.
根据权利要求1所述的基于空间信息增强
transformer
的遥感图像语义分割方法，其特征是，所述的
transformer
单元为空间信息增强
transformer
，包括：多头自注意力模块
、
极坐标空间强化模块
、
图卷积神经网络和空间多层感知器
(SMLP)
，其中：多头自注意力模块输出中间结果注意力权值矩阵至极坐标空间强化模块，图卷积神经网络根据极坐标空间强化模块输出的空间信息矩阵和多头自注意力模块输出的自注意力权值矩阵卷积计算得到向量信息，空间多层感知器对向量信息进一步处理后叠加得到细粒度空间信息
。4.
根据权利要求1所述的基于空间信息增强
transformer
的遥感图像语义分割方法，其特征是，所述的极坐标空间强化模块首先计算中间结果注意力权值矩阵中所有向量的均值后，将其拉伸为一个正方形的注意力图矩阵，在注意力图矩阵上选择值最大的点作为坐标原点，构建极坐标矩阵和角极坐标矩阵后，将两个矩阵连接得到空间信息矩阵
。5.
根据权利要求1所述的基于空间信息增强
transformer
的遥感图像语义分割方法，其特征是，所述的空间多层感知器对向量信息进行嵌入操作处理后，经第一卷积层
、
第一高斯误差线性函数
(GELU)
激活层
、
第一
Dropout
层后输入中间卷积层，第二
GELU
激活层
、
第二卷积层
、
第二
Dropout
层后，通过嵌入层输出含有...

【专利技术属性】
技术研发人员：方涛，杨从君，霍宏，
申请(专利权)人：上海交通大学内蒙古研究院，
类型：发明
国别省市：