先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法技术

本发明专利技术提供一种先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，利用高分辨率遥感影像进行建筑物自动变化检测，首先采用融合域自适应和弱监督策略的建筑物提取算法生成先验语义知识，通过充分利用域自适应和弱监督两种策略最大程度提升先验知识的跨域扩展能力，减少样本数据集制作的数量及难度。然后设计先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测网络，将建筑物提取网络各个阶段的中间结果都作为先验知识，最大程度减少网络对于变化检测样本数据的依赖，提升建筑物变化检测的效果。升建筑物变化检测的效果。升建筑物变化检测的效果。

【技术实现步骤摘要】
先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法


[0001]本专利技术属于建筑物变化检测领域，尤其涉及融合域自适应和弱监督策略的建筑物提取网络和先验语义知识引导的建筑物变化检测网络。

技术介绍

[0002]遥感影像变化检测是地理国情监测的重要内容之一，对城市动态监测、地理信息更新、自然灾害监测、违章建筑物查处、军事目标打击效果分析以及国土资源调查等具有重要意义。得益于近年来快速发展的深度学习技术和对地观测技术，高分辨率遥感影像变化检测从数据积累到算法模型都得到了飞速发展，但距离商业化应用仍有一定差距。当前，高分辨率遥感影像变化检测的难点主要集中在：
①
样本数据集匮乏，而变化检测样本数据通常需要人工对比分析寻找变化区域并进行像素级标注，由于工作量大，目前可供深度学习研究使用的变化检测样本数据集较少；
②
模型泛化能力不强，由于变化检测通常涉及两期以上数据，而这些数据通常具有不同的天气、季节以及拍摄角度等条件差异，使得变化检测问题更加严峻，以致在某个特定数据集训练得到的变化检测模型很难推广泛化到其他数据集。
[0003]近年来，随着深度学习技术的不断成熟，高分辨率遥感影像变化检测技术得到了迅速发展，精度和可靠性远超传统算法。根据算法对样本数据的依赖程度，变化检测技术可以划分为监督变化检测、半监督变化检测、弱监督变化检测和无监督变化检测。监督变化检测方面，根据深度神经网络结构差异主要划分为:1)基于受限玻尔兹曼机(RBM)的方法，Gong et al.[1]设计了一个深度神经网络来实现合成孔径雷达图像变化和不变区域的检测。2)基于递归神经网络(RNN)的方法，Lyu et al.[2]使用了一种基于长短时记忆(LSTM)的端到端循环神经网络来学习土地覆盖中的可转移变化规律，以用于变化检测。此后，Mou et al.[3]提出了一种基于孪生结构的递归卷积神经网络来学习联合光谱
‑
空间
‑
时相特征表示以实现多光谱图像的变化检测，该方法将卷积神经网络和递归神经网络整合成了一个端到端网络。3)基于生成对抗网络(GAN)的方法，Lebedev et al.[4]提出了一种基于pix2pix的GAN网络来实现不同季节遥感影像的自动变化检测,该方法还考虑了位置偏移的影响。Fang et al.[5]提出了一种基于对偶学习的孪生网络(DLSF)来实现两期高分辨率影像间的变化检测。该网络包括基于对偶学习的域变换和孪生变化决策网络两个子网络。4)基于卷积神经网络(CNN)的方法，最早的是Zagoruyko and Komodakis[6]提出的三种不同卷积神经网络(CNN)结构来计算图像块的相似性。随后，文献[7,8]分别设计了深度孪生卷积网络(DSCN)和深度孪生语义网络框架进行特征提取，并通过特征距离计算和阈值分割获得了最终的变化图。Salman et al.[9]分析了遥感卫星图像数据，并采用深度神经网络自动学习区域表示检测了29年(1987
‑
2015年)内的森林覆盖率变化。Zhang and Lu[10]提出了一种端到端的光谱空间联合学习网络(SSJLN)，用于多光谱图像的变化检测。另一方面，为了克服现有算法的局限性，在编码器和解码器层之间增加了跳转连接取代简单的上采样
Multispectral Imagery.IEEE Transactions on Geoscience and Remote Sensing 2019,57,924
‑
935,doi:10.1109/TGRS.2018.2863224.
[0009]4.Lebedev,M.；Vizilter,Y.；Vygolov,O.；Knyaz,V.；Rubis,A.CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS.ISPRS
‑
International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences 2018,XLII
‑
2,565
‑
571,doi:10.5194/isprs
‑
archives
‑
XLII
‑2‑
565
‑
2018.
[0010]5.Fang,B.；Pan,L.；Kou,R.Dual Learning
‑
Based Siamese Framework for Change Detection Using Bi
‑
Temporal VHR Optical Remote Sensing Images.Remote Sensing 2019,11,1292,doi:10.3390/rs11111292.
[0011]6.Zagoruyko,S.；Komodakis,N.Learning to Compare Image Patches via Convolutional Neural Networks.2015.
[0012]7.Zhan,Y.；Fu,K.；Yan,M.；Sun,X.；Wang,H.；Qiu,X.Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images.IEEE Geoscience and Remote Sensing Letters 2017,14,1845
‑
1849,doi:10.1109/LGRS.2017.2738149.
[0013]8.Zhang,M.；Xu,G.；Chen,K.；Yan,M.；Sun,X.Triplet
‑
Based Semantic Relation Learning for Aerial Remote Sensing Image Change Detection.IEEE geoscience and remote sensing letters 2018.
[0014]9.Salman；H.；Khan；Xuming；He；Fatih；Porikli；Mohammed；Bennamoun.Forest Change Detection in Incomplete Satellite Images With Deep Neural Networks.IEEE Transactions on Geoscience&Remote Sensing 2017.
[0015]10.Zhang,W.；Lu,X.The Spectral
‑
Spatial Joint Learning for Change 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于，包括如下步骤：步骤1，构建融合域自适应和弱监督策略的建筑物提取网络；包括以下子步骤：步骤11，数据集加载与扩展，加载原始影像及对应的真值标签，真值标签包括图像级标签和像素级标签两种，然后对加载的原始影像进行预处理；步骤12，构建建筑物提取网络模型，包括生成器、鉴别器和建筑物检测器三部分；步骤13，建筑物提取网络模型训练，训练数据包含源域样本集和目标域样本集两类；步骤14，模型训练完成后，加载训练后的生成器，利用生成器对输入的影像数据进行预测，生成像素级的建筑物提取分类结果；步骤2，构建先验语义知识引导的建筑物变化检测网络；包括以下子步骤：步骤21，数据集加载与扩展，加载不同期待变化检测影像及对应的二值真值标签，包括变化与未变化两类，然后对加载的两期待变化检测影像预处理；步骤22，构建建筑物变化检测网络，包括依次连接的编码器，即为建筑物提取网络中的生成器，特征变化分析网络和解码器三部分；所述特征变化分析网络包括多层卷积网络，每层卷积网络分别有一个卷积层、一个归一化层和一个激活层ReLU组成，其中第一层卷积网络卷积层尺寸为1*1，实现特征降维，第二、三层卷积网络卷积层尺寸为3*3，实现相关性特征计算，得到多尺度变化特征；步骤23，建筑物变化检测网络模型训练，直接采用步骤1中最终得到的建筑物提取网络，调整变化分析网络和解码器部分，从而使得整个网络的待解算参数大幅减少，减轻了模型训练的难度，减少了对样本数据集的依赖程度，最后采用验证集选取精度最高的模型作为最优模型并保存到指定位置；步骤24，加载选取的最优模型，对输入的两期待变化检测影像数据进行预测，生成像素级的建筑物变化检测结果。2.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤11和步骤21中，所述预处理包括对原始影像进行随机旋转、缩放、随机颜色变化处理，其中缩放处理是根据不同窗口大小对训练数据集进行裁切，然后再缩放至目标尺寸，从而实现数据集的多尺度支持；原始影像的随机旋转、随机颜色变化在每次训练加载影像时进行，随机旋转时同时对原始影像和真值标签采用同一种旋转方式，包括8种旋转方式，即水平翻转，垂直翻转，逆时针旋转0度，逆时针旋转90度，逆时针旋转180度，逆时针旋转270度，逆时针旋转90度后水平翻转，逆时针旋转90度后垂直翻转；随机颜色变换是通过生成的随机数对图像的亮度、色度、对比度和锐度进行随机变换。3.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤12中，所述生成器包括主干网络和像素关联模块PCM两部分，所述主干网络包括编码器、中间件、解码器三个子网络；其中，编码器子网络用于将输入的RGB三通道影像进行卷积升维，获得使浅层信息映射到高维潜在空间的特征图；中间件子网络由采用SE注意力模型，对高维特征进一步处理，包括Squeeze和Excitation两个过程，Squeeze将特征图进行全局均值池化，得到特征图的全局压缩特征
量；Excitation通过两层全连接的瓶颈结构得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入；解码器子网络由卷积层、上采样以及激活函数ReLU和BatchNorm组成，同时用编码器子网络所产生的特征图与解码器所还原的特征图进行跳层连接，最后还原特征图为原图尺寸，记录每一个像素点所属类别的概率；像素关联模块PCM基于自注意力机制思想进行设计，用于建筑物边缘轮廓校正，其输入包含两部分，一是原始影像和主干网络最后第二、三层高阶卷积特征经下采样后拼接得到的新卷积特征，二是最后一层高阶卷积特征下采样后得到的新卷积特征，二者一起传入PCM模块，PCM网络输出的卷积特征经上采样操作得到和原始影像尺寸一致的特征图，PCM输出的特征图经上采样后和主干网络的特征图进行拼接、卷积等操作后得到最终的建筑区域预测值。4.如权利要求3所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤22中的编码器具体为建筑物提取网络生成器中的主干网络部分，利用主干网络提取两期影像数据的多尺度卷积特征作为后续变化分析网络的输入，然后通过变化分析网络得到两期数据的多尺度变化特征，作为后续解码器的输入。5.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：所述生成器的损失函数定义为预测图像和真实标签间的交叉熵值，即像素级标签损失，其计算公式如下：其中Y
s
为源域影像的真实标签，G(I
s
)∈R
H
×
W
×1为生成器的特征图输出结果，...

【专利技术属性】
技术研发人员：庞世燕，王涛，左志奇，郝京京，李鑫宇，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：