一种遥感影像语义预测方法技术

本发明专利技术公开一种遥感影像语义预测方法，属于图像处理技术领域，用于影像语义变化检测，包括获取公开的语义变化检测基准数据集，语义变化检测基准数据集包括双时间图像，将双时间图像分成3部分；基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块，将测试集输入训练好的网络模型中，得到网络预测的语义变化检测结果。本发明专利技术提出的语义变化检测网络模型对于高空间分辨率下的语义变化检测任务有良好的适用性，一定程度上缓解由于季节因素引起的类别变化检测误判现象。象。象。

【技术实现步骤摘要】
一种遥感影像语义预测方法


[0001]本专利技术公开一种遥感影像语义预测方法，属于专门适用于预测目的的数据处理方法和图像数据处理和摄影测量学


技术介绍

[0002]近年来，基于深度学习的遥感图像变化检测已成为研究热点。基于深度学习的光学遥感图像的变化检测方法有两个主流方法，一种是先分类，再对分类结果判别的变化检测方法：首先用深度神经网络分类模型分别对双时相图像进行图像分类，然后通过比较其分类结果来判定变化情况。这种方法严重依赖于分类模型的准确性，同时先分类后变化检测步骤繁琐，此外，当比较两个分类结果时，预测误差会累积。另一种是基于深度学习直接进行变化检测的方法，该方法用深度学习技术直接对双时相图像生成变化结果，精度有了明显的提升。然而现有的基于深度学习的绝大多数变化检测方法都是二值（变化/未变化）变化检测（BCD），即发现土地利用类型有没有发生变化，但对于发生怎样的变化是未知的，然而土地覆盖类型发生了怎样的变化对于大范围土地覆盖类型调查具有重要意义。和二值变化检测研究相比，近年来也有研究者在语义变化检测(SCD)方面做出了贡献，即分析像素级别的“from
‑
to”变化。Ding et al.提出了Bi
‑
SRNet解决了高分辨率语义变化检测问题，虽然该方法和前人的相比取得了改进，但它很少考虑到网络中每个特征权重的差异对SCD结果的影响。

技术实现思路

[0003]本专利技术的目的在于提供一种遥感影像语义预测方法，以解决现有技术中，遥感影像语义变化检测未考虑的特征权重导致变化检测误判的问题。
[0004]一种遥感影像语义预测方法，包括：S1.获取公开的语义变化检测基准数据集，所述语义变化检测基准数据集包括双时间图像；S2.将双时间图像按比例7：2：1分成3部分；S3.基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块；全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征；语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X1和X2，两个双分支语义推理模块处理X1和X2，两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的；卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理，分别对特征的每个通道和每个空间位置进行权重分配；
所述跨时间语义推理模块学习跨时间语义关联，增强未变化区域特征；使用3种损失函数来训练语义变化检测网络模型：语义类损失
sem
，二值变化损失
bc
，语义一致性损失
sc
；语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度，包括总体精度OA、均交并比mIoU、分离Kappa系数SeK；S4.将测试集输入训练好的语义变化检测网络模型中，得到遥感影像语义预测结果。
[0005]S3中，增强未变化区域特征后得到增强的特征X1'和X2'并送往卷积块注意力模块，生成特征X1''和X2''并发送到跨时间语义推理模块得到二次增强的特征X1'''和X2'''，经过分类器将X1'''和X2'''投射到语义图SM1和SM2中，变化检测块提取X1'''和X2'''中不一致的信息，经过变化检测分类器投射到二值变化图C中，两次投射过程均通过1
×
1卷积层输出，权重不共享；语义图SM1和二值变化图C做掩膜生成语义变化图SCM1，语义图SM2和二值变化图C做掩膜生成语义变化图SCM2。
[0006]双分支语义推理模块包括：输入一个c
×
h
×
w的特征X，其中c是通道数，h是高，w是宽，将X投射到三个向量m，n，p中，其中m ∈ H
×
c'，向量m的行数为H，列数为c'，n ∈ c'
×
H，向量n的行数为c'，列数为H，p ∈c
×
H，向量p的行数为c，列数为H，H=h
×
w，c'=c/r，r为默认值是2的通道缩减因子，增强的语义特征X'的表示为X'=X+p
×
M，其中矩阵M的计算公式为M=Φ(m
×
n)，Φ是softmax归一化函数；向量m的行数=向量n的列数=向量p的列数，向量m的列数=向量n的行数。
[0007]通道注意力模块对输入特征的不同通道进行权重分配；输入大小为 C
×
H
×
W的特征图F，特征图F的通道数为C，高为H，宽为W，通过空间尺度的最大池化操作和平均池化操作进行压缩，经过池化操作后，特征图分别被压缩成两个通道数为C、高为1、宽为1的向量，将这两个向量发送给共享的多层感知器并输出，使用逐元素求和进行合并；附加一个 sigmoid函数分配每个通道的注意力权重，得到通道注意力图M
C
，获得输入特征每一个通道的权值，将这些权值乘上原输入特征图F得到改进后的特征F'。
[0008]对输入的特征图F'，在每一个特征点的通道尺度上分别进行最大池化和平均池化，将最大池化和平均池化的结果堆叠连接，用一个过滤器大小为7
×
7的卷积操作f 7
×7进行卷积；取一个sigmoid函数生成空间注意力图M
S
，获得输入特征图每一个特征点位置的权值，将这个权值乘上原输入特征图F'得到改进的特征F''。
[0009]对于输入的特征X1''和X2''，跨时间语义推理模块将X1''投射到三个向量m1，n1，p1中，将X2''投射到三个向量m2，n2，p2中，其中m1，m
2 ∈ H
×
c'，向量m1和m2的行数为H，列数为c'；n1，n
2 ∈ c'
×
H，向量n1和n
2 的行数为c' ，列数为H；p1，p
2 ∈ c
×
H，向量p1和p
2 的行数为c ，列数为H，m1和n1两个向量相乘得到矩阵M1，m2和n2两个向量相乘得到矩阵M2：向量m的行数=向量n的列数=向量p的列数=向量m1和m2的行数=向量n1和n
2 的列数=向量p1和p
2 的列数，向量m的列数=向量n的行数=向量m1和m2的列数=向量n1和n
2 的行数，向量p的行数=向量p1和p
2 的行数；
M1=Φ(m1×
n1)，M2=Φ(m2×
n2)；生成的特征X1'''由X1''，p1，M2计算得到，X2'''由X2''，p2，M1计算得到：X1'''= X1''+ p1×
M2，X2'''= X2''+ p2×
M1。
[0010]语义类损失是语义分割结果 SM1、SM2和语义变化标签L1、L2之间的多类交叉熵损失，语义类损失计算公式为：；式中，N为数据集中的语义类别数，y
i
和p
i
分别表示真值标签和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感影像语义预测方法，其特征在于，包括：S1.获取公开的语义变化检测基准数据集，所述语义变化检测基准数据集包括双时间图像；S2.将双时间图像按比例7：2：1分成3部分；S3.基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块；全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征；语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X1和X2，两个双分支语义推理模块处理X1和X2，两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的；卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理，分别对特征的每个通道和每个空间位置进行权重分配；所述跨时间语义推理模块学习跨时间语义关联，增强未变化区域特征；使用3种损失函数来训练语义变化检测网络模型：语义类损失
sem
，二值变化损失
bc
，语义一致性损失
sc
；语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度，包括总体精度OA、均交并比mIoU、分离Kappa系数SeK；S4.将测试集输入训练好的语义变化检测网络模型中，得到遥感影像语义预测结果。2.根据权利要求1所述的一种遥感影像语义预测方法，其特征在于，S3中，增强未变化区域特征后得到增强的特征X1'和X2'并送往卷积块注意力模块，生成特征X1''和X2''并发送到跨时间语义推理模块得到二次增强的特征X1'''和X2'''，经过分类器将X1'''和X2'''投射到语义图SM1和SM2中，变化检测块提取X1'''和X2'''中不一致的信息，经过变化检测分类器投射到二值变化图C中，两次投射过程均通过1
×
1卷积层输出，权重不共享；语义图SM1和二值变化图C做掩膜生成语义变化图SCM1，语义图SM2和二值变化图C做掩膜生成语义变化图SCM2。3.根据权利要求2所述的一种遥感影像语义预测方法，其特征在于，双分支语义推理模块包括：输入一个c
×
h
×
w的特征X，其中c是通道数，h是高，w是宽，将X投射到三个向量m，n，p中，其中m ∈ H
×
c'，向量m的行数为H，列数为c'，n ∈ c'
×
H，向量n的行数为c'，列数为H，p ∈c
×
H，向量p的行数为c，列数为H，H=h
×
w，c'=c/r，r为默认值是2的通道缩减因子，增强的语义特征X'的表示为X'=X+p
×
M，其中矩阵M的计算公式为M=Φ(m
×
n)，Φ是softmax归一化函数；向量m的行数=向量n的列数=向量p的列数，向量m的列数=向量n的行数。4.根据权利要求3所述的一种遥感影像语义预测方法，其特征在于，通道注意力模块对输入特征的不同通道进行权重分配；输入大小为 C
×
H
×
W的特征图F，特征图F的通道数为C，高为H，宽为W，通过空间尺度的最大池化操作和平均池化操作进行压缩，经过池化操作后，特征图分别被压缩成两个通道数为C、高为1、宽为1的向量，将这两个向量发送给共享的多层感知器并输出，使用逐元素求和进行合并；
附加一个 sigmoid函数分配每个通道的注意力权重，得到通道注意力图M
C
，获得输入特征每一个通道的权值，将这些权值乘上原输入特征图F得到改进后的特征F'。5.根据权利要求4所述的一种遥感影像语义预测方法，其特征在于，对输入的特征图F'，在每一个特征点的通道尺度上分别进行最大池化和平均池化，将最大池化和平均池化的结果堆叠连接，用一个过滤器大小为7
×
7的卷积操作f 7
×7进行...

【专利技术属性】
技术研发人员：刘振，孙雪，张震，刘昊，马跃，李明雨，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：