一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法技术

本发明专利技术涉及一种高分辨卷积网络及上下文信息编码的语义变化检测方法，采用高精度的语义变化检测网络模型，该模型包含孪生高分辨率特征提取模块和上下文信息编码模块，孪生高分辨率特征提取模块用来提取原图像对的特征信息；上下文信息编码模块用来进行变化检测与语义分割：1)原图像对的特征信息之间的差异信息进行上下文信息编码，得到与输入图像尺寸相同的变化二值图；2)原图像对各自的特征信息上进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图。最后将变化二值图和两张语义分割图结合后得到语义变化检测结果图。本发明专利技术提出的方法得到的语义变化区域的细节更加准确，精度得到有效提升。精度得到有效提升。精度得到有效提升。

【技术实现步骤摘要】
一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法


[0001]本专利技术属于遥感图像处理
，具体涉及一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法。

技术介绍

[0002]语义变化检测是一种信息量更大的像素级变化检测，它不仅提供二分类变化结果图，还提供指示变化方向的“从到”变化结果图，“从到”指的是双时相遥感图像之间的土地覆盖种类变化，例如“从土地到建筑物”、“从森林到农田”等，其目标是检测出一对遥感图像中发生变化的区域以及发生变化区域中每个像素属于的语义种类。与二分类变化的区域以及发生变化区域中每个像素属于的语义种类。与二分类变化相比，语义变化检测是一项更复杂的变化检测任务，可以获得全面的变化信息。该技术在环境监测、城市覆盖、资源管理等领域发挥着重要作用。
[0003]近年来，得益于高空间分辨率和多时间遥感地球观测的快速发展，可以获得大量的双时相和高空间分辨率遥感图像，这为语义变化检测提供了可靠的数据源。语义变化检测可以同时确定发生变化的区域和发生变化的类型。其结果由两个单独的分类图组成，不同的颜色表示每个图像周期的不变和变化的类别，一般来说语义变化检测结果图中白色代表没有发生变化的区域，其他的颜色代表土地覆盖的变化类型。深度学习通过端到端的检测方式简化了传统检测非端到端的方法，有效提高了检测效率以及检测的精度。因此，基于深度学习的语义变化检测方法获得了快速的发展。例如，Mou等人在文献“Learning Spectral
‑
Spatial
‑
Temporal Features via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2019.”中提出了一种新的递归卷积神经网络架构，将卷积神经网络和递归神经网络合并为一个端到端网络。前者能够生成丰富的光谱空间特征表示，而后者有效地分析了双时间图像中的时间相关性。例如，Yang等人在文献“.Asymmetric siamese networks for semantic change detection in aerial images[J].IEEE Transactions on Geoscience and Remote Sensing,2021,60:1
‑
18.”提出了一种用于语义变化检测的不对称孪生网络ASN(Asymmetric Siamese Network)，通过从具有广泛不同结构的模块中获得的特征对来定位和识别语义变化，这些特征对涉及不同的空间范围和参数数量，以考虑不同土地覆被分布的差异。并进一步提出并评估了一个名为SECOND(SEmantic Change detectiON Dataset)的语义变化检测数据集。
[0004]目前对于变化检测的研究较多，但对于语义变化检测的探索研究较少，且语义变化检测的结果整体精度都不高，细节较差。除此之外还存在一些非实质性变化检测的问题，如光照变化、季节性植被变化、建筑物阴影覆盖等，这些都属于两个时相图像之间视觉外观的显著差异，即非实质性变化，不是想要的实质性变化，这些干扰因素都会影响检测结果的精确度。因此，设计一个高精度的语义变化检测网络是非常有必要的。

技术实现思路

[0005]要解决的技术问题
[0006]针对现有与语义变化检测方法的结果精度较低的问题，本专利技术提供一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法。
[0007]技术方案
[0008]一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于步骤如下：
[0009]S1，将不同时相的遥感图像T1和T2分别通过卷积模块C0和C1改变通道数后输入孪生高分辨率特征提取模块，通过特征提取模块内多个小卷积模块进行特征提取与不同尺度特征信息的交换，得到不同尺度的特征图F
1j
’
和F
2j
’
；将特征提取模块提取到的特征F
1j
’
和F
2j
’
分别通过卷积与上采样操作统一分辨率和通道数，得到新的特征信息F
1j
和F
2j
；
[0010]S2，将特征对F
1j
和F
2j
进行差异性特征提取，得到两幅图之间的差异信息特征d
j
，将d
j
通道堆叠后进行上下文信息编码，经过后处理得到与输入图像尺寸相同的变化二值图O；
[0011]S3，将特征对F
1j
和F
2j
分别进行通道堆叠，后各自进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图S1和S2，分别对应原图像T1和T2；
[0012]S4，将语义分割图S1和S2与变化检测图O结合后得到最终的语义变化检测结果图O1和O2。
[0013]本专利技术进一步的技术方案：步骤S1中孪生高分辨率特征提取模块包括了两个特征提取分支，且两分支之间共享权重。
[0014]本专利技术进一步的技术方案：所述高分辨率网络模型包括了多个小卷积模块，对于上下两个高分辨率网络模型分支中的所有卷积模块分别命名为卷积模块C
1i,j
和卷积模块C
2i,j
，i≥1,j≥0，特征图通过卷积模块C
1i,j
和卷积模块C
2i,j
后得到新的特征图I
1i,j
和I
2i,j
，特征图I
1i,j
和I
2i,j
的分辨率记为H
1i,j
×
W
1i,j
和H
2i,j
×
W
2i,j
，通道数记为C
1i,j
和C
2i,j
，其中H
1i,j
＝H
2i,j
＝H
input
/2
j
，W
1i,j
＝W
2i,j
＝W
input
/2
j
，C
1i,j
＝C
2i,j
＝32
×2j
，其中H
input
与W
input
为输入图像对T的分辨率大小。
[0015]本专利技术进一步的技术方案：步骤S1中卷积模块C
1i,j
和C
1i,j
的输入来自卷积模块C
1i
‑
1,y
和C
2i
‑
1,y
的输出，其中i≥2,y∈[0,i
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于步骤如下：S1，将不同时相的遥感图像T1和T2分别通过卷积模块C0和C1改变通道数后输入孪生高分辨率特征提取模块，通过特征提取模块内多个小卷积模块进行特征提取与不同尺度特征信息的交换，得到不同尺度的特征图F
1j
’
和F
2j
’
；将特征提取模块提取到的特征F
1j
’
和F
2j
’
分别通过卷积与上采样操作统一分辨率和通道数，得到新的特征信息F
1j
和F
2j
；S2，将特征对F
1j
和F
2j
进行差异性特征提取，得到两幅图之间的差异信息特征d
j
，将d
j
通道堆叠后进行上下文信息编码，经过后处理得到与输入图像尺寸相同的变化二值图O；S3，将特征对F
1j
和F
2j
分别进行通道堆叠，后各自进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图S1和S2，分别对应原图像T1和T2；S4，将语义分割图S1和S2与变化检测图O结合后得到最终的语义变化检测结果图O1和O2。2.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S1中孪生高分辨率特征提取模块包括了两个特征提取分支，且两分支之间共享权重。3.根据权利要求2所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：所述高分辨率网络模型包括了多个小卷积模块，对于上下两个高分辨率网络模型分支中的所有卷积模块分别命名为卷积模块C
1i,j
和卷积模块C
2i,j
，i≥1,j≥0，特征图通过卷积模块C
1i,j
和卷积模块C
2i,j
后得到新的特征图I
1i,j
和I
2i,j
，特征图I
1i,j
和I
2i,j
的分辨率记为H
1i,j
×
W
1i,j
和H
2i,j
×
W
2i,j
，通道数记为C
1i,j
和C
2i,j
，其中H
1i,j
＝H
2i,j
＝H
input
/2
j
，W
1i,j
＝W
2i,j
＝W
input
/2
j
，C
1i,j
＝C
2i,j
＝32
×2j
，其中H
input
与W
input
为输入图像对T的分辨率大小。4.根据权利要求3所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S1中卷积模块C
1i,j
和C
1i,j
的输入来自卷积模块C
1i
‑
1,y
和C
2i
‑
1,y
的输出，其中i≥2,y∈[0,i
‑
2]，这里C
1i...

【专利技术属性】
技术研发人员：张秀伟，张艳宁，田牧，陈亮，于雷，邢颖慧，杨一哲，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：