一种基于孪生网络的光学遥感图像变化检测方法技术

本发明专利技术公开一种基于孪生网络的光学遥感图像变化检测方法，由边界可感知的孪生卷积神经网络处理实现，该网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块。本发明专利技术通过有效地融合配对特征以及引入位置信息，精确的预测了多时相遥感图像的差异区域，进一步提高了模型的性能。能。能。

【技术实现步骤摘要】
一种基于孪生网络的光学遥感图像变化检测方法


[0001]本专利技术涉及光学遥感图像变化检测
，特别是涉及一种基于孪生网络的光学遥感图像变化检测方法。

技术介绍

[0002]遥感技术是人类科技史上的重大成就，它通过各种传感仪器收集地球表面的信息，极大地提高了人类对地球的认识和监测。变化检测是遥感领域最重要的研究课题之一，它旨在识别同一地理位置的多时相遥感图像的差异区域。变化检测技术广泛应用于环境监测、城市扩张调查、土地覆盖测绘和自然灾害评估等任务。近年来，遥感图像的分辨率的不断提高和数据量的持续增长给遥感图像处理带来了新的机遇和挑战，高效的自动变化检测技术变得越来越重要。传统的遥感图像变化检测方法不仅运算速度慢，而且需要丰富的经验和大量的时间来针对性地设计模型，难以适应当今日益增长的需求。因此，探索计算高效和预测准确的变化检测模型十分有必要，需要进一步找到具有良好表现的解决方案。
[0003]在城市化进程快速发展的今天，土地利用信息在不断变化，而人工实地调研过于繁琐，不仅需要耗费大量的人力物力财力，而且难以满足当前时代的基本需求。传统的变化检测算法大致分为三个步骤：首先是图像预处理阶段，主要包括图像配准、去噪等操作，目的是消除各种其他因素带来的图像差异。然后通过基于像素或基于对象的方法来分析多时相遥感图像，采用图像差值或者特征提取技术来构建有用的特征表示。最后，采用基于学习的方法或者手动设计一个分类模型对提取到的特征进行分类以判断变化类别，常用的分类模型包括决策树、支持向量机、马尔可夫随机场等。简而言之，传统方法通过提取多时相遥感图像的浅层特征特征并使用传统的分类模型对特征进行分类，最终实现二值变化图的预测。尽管它在过去十几年内取得了一些成功，但它高度依赖于经验设计的特征提取算法和分类算法，这非常耗时且泛化性能差。
[0004]随着深度学习技术的飞速发展，基于深度学习的变化检测算法在遥感领域取得了显著的成果。深度卷积神经网络是应用最广泛的深度学习模型之一，具有强大的表示能力，以纯数据驱动的方式学习多时相遥感图像与二值变化图之间的端到端映射。孪生卷积网络作为一种特殊的卷积神经网络，在视频语义分割、视频目标检测、对比学习等领域取得了巨大的成功。受到孪生卷积网络在上述领域成功应用的启发，研究人员对其网络架构加以改进以适用于遥感图像变化检测任务，并展示出了比传统方法更强大的性能。在多数情况下，孪生卷积网络比其他架构的卷积神经网络具有更加强大检测性能，主要原因是它能独立地提取多时相遥感图像的深度特征。在当前的研究中，基于孪生卷积网络的变化检测方法主要包括两种：第一种方法以特征度量为核心，首先通过孪生卷积网络提取原始图像的特征，然后度量特征之间的距离来判断变化类别(距离近的特征表示该位置没有发生变化，距离远的特征表示该位置发生变化)；第二种方法以特征分类为核心，首先采用孪生卷积网络独立提取原始图像的深度特征，然后设计一个判别网络对特征进行解码并判断每个像素的变化类别。
[0005]从整体上看，以特征分类为核心的孪生卷积网络要优于以特征度量为核心的孪生卷积网络。以特征分类为核心的的孪生卷积网络主要由两个部分组成，分别是双流特征提取网络以及特征判别网络。首先由双流特征提取网络分别提取多时相遥感图像的深度配对特征，然后对深度配对特征进行融合，最后由特征判别网络对特征进行分类判别以实现变化类别的预测。
[0006]近年来，研究人员对孪生卷积网络模型进行了大量的研究，特征提取网络通常采用相似的方法且已经趋于成熟，因此如何有效地融合配对特征和判别特征成为了提升模型性能的关键。近期的一些研究尝试引入注意力机制来促进多时相遥感图像的特征融合并提升网络的判别能力。然而，引入注意力机制并不能充分地融合特征和提升判别能力。此外，引入注意力机制极大地增加了计算量，并且性能提升十分有限。
[0007]为了实现高效且准确的遥感图像变化检测，需要进一步探索高效的特征融合模块和准确的特征判别模块。其中高效的特征融合模块将来自特征提取网络的配对特征融合成更具区分度的特征表示；特征判别模块对融合后的特征进行解码并判断每个像素的变化类别。然而，当前的变化检测模型缺乏对特征融合模块和特征判别模块的深入研究，这严重影响了检测结果的准确性，阻碍了模型检测能力的提高。因此，如何设计高效的特征融合模块和准确的特征判别模块是提高模型性能的关键。

技术实现思路

[0008]本专利技术的目的是针对现有技术中存在的技术缺陷，提出了一种基于孪生网络的光学遥感图像变化检测方法，旨在通过提升模型的特征提取、融合以及判别能力，实现对多时相遥感图像差异区域的精准预测；该方法准确地预测了多时相遥感图像中的变化区域，同时获得了清晰的边界。
[0009]为实现本专利技术的目的所采用的技术方案是：
[0010]一种光学遥感图像变化检测方法，由边界可感知的孪生卷积神经网络处理实现，该生卷积神经网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块；
[0011]处理步骤如下：
[0012]由多个卷积模块提取同一地理区域不同时间段的光学遥感图像X
t0
和X
t1
的浅层特征和
[0013]将浅层特征和送入权重共享的双流深度残差模块分别进行逐层特征提取来获取K个不同尺度的深层配对特征与
[0014]将同一尺度的深层配对特征与送入多尺度配对特征融合模块进行融合，并采用跳过连接构建单个的更高层次的多尺度特征
[0015]将多尺度特征被送入位置引导模块进行特征解码，形成多尺度特征
[0016]将多尺度特征送入多尺度配对特征聚合模块精炼特征，最终精确预测二值变化图M。
[0017]作为一优选的技术方案，所述的双流深度残差模块具体处理步骤如下：
[0018]卷积模块提取光学遥感图像X
t0
和X
t1
的浅层特征和
[0019][0020]其中，f(
·
)表示卷积模块；
[0021]通过权重共享的双流深度残差网络提取多个不同尺度的深层配对特征与
[0022][0023]其中r
k
(
·
)表示深度残差网络的第k阶段，与分别表示t0和t1时间段的遥感图像的第k层深度特征，k＝1,...,K表示一共有K层。
[0024]作为一个优选技术方案，所述多尺度配对特征融合模块步骤如下：
[0025]对同一尺度的深层配对特征和进行逐通道相加操作，然后进行通道重构操作，实现特征图在通道维度上的均匀混合；重构后的特征将会被送入多个卷积模块融合以获取更高层次的特征表示：
[0026][0027]其中，[
·
]表示逐通道相加的操作，shuffle(
·
)表示通道重构操作，表示第k层重构后的特征，f
res
表示残差卷积模块，表示第k层融合后的特征；
[0028]通过跳过连接及最大池化操作对融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于孪生网络的光学遥感图像变化检测方法，其特征在于，由边界可感知的孪生卷积神经网络处理实现，该生卷积神经网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块；处理步骤如下：由多个卷积模块提取同一地理区域不同时间段的光学遥感图像X
t0
和X
t1
的浅层特征和将浅层特征和送入权重共享的双流深度残差模块分别进行逐层特征提取来获取K个不同尺度的深层配对特征与将同一尺度的深层配对特征与送入多尺度配对特征融合模块进行融合，并采用跳过连接构建单个的更高层次的多尺度特征将多尺度特征被送入位置引导模块进行特征解码，形成多尺度特征将多尺度特征送入多尺度配对特征聚合模块精炼特征，最终精确预测二值变化图M。2.根据权利要求1所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述双流深度残差模块的处理步骤如下：卷积模块提取光学遥感图像X
t0
和X
t1
的浅层特征和和其中，f(
·
)表示卷积模块；通过权重共享的双流深度残差网络提取多个不同尺度的深层配对特征与与其中r
k
(
·
)表示深度残差网络的第k阶段，与分别表示t0和t1时间段的遥感图像的第k层深度特征，k＝1,...,K表示一共有K层。3.根据权利要求2所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述的多尺度配对特征融合模块的处理步骤如下：对同一尺度的深层配对特征和进行逐通道相加操作，然后进行通道重构操作，实现特征图在通道维度上的均匀混合；重构后的特征将会被送入多个卷积模块融合以获取更高层次的特征表示：
其中，[
·
]表示逐通道相加的操作，shuffle(
·
)表示通道重构操作，表示第k层重构后的特征，f
res
表示残差卷积模块，表示第k层融合后的特征；通过跳过连接及最大池化操作对融合后特征组合，得到多尺度特征通过跳过连接及最大池化操作对融合后特征组合，得到多尺度特征其中，MP(
·
)表示最大池化操作,表示第k层的多尺度特征。4.根据权利要求3所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述位置引导模块包括空间金字塔池化模块和一系列的引导流，所述空间金字塔池化模块包括一系列不同核大小的池化操作和卷积模块，用于构建全局位置特征F
g
以实现变化区域精确定位；所述引导流则用于将全局位置特征F
g
传递给解码器的每一个阶段，作用于第K层的深层配对特征和深层配对特征其步骤如下：由一个卷积模块初步融合配对特征，并减少其通道数；表示如下:其中，与表示来自双流深度残差模块的第K层特征；使用最大池化操作对融合后的特征进行处理，获得不同尺度的特征并通过卷积模块处理不同尺度的特征以捕获不同感受野；之后通过逐通道相加操作将多个特征合并成一含位置信息的全局位置特征F
g
：其中，MP
m
(
·
)表示核大小随着m变化的最大池化操作，m＝1,...,M表示一共获得了M个不同尺度的特征；通过一系列的引导流将全局位置特征F
g
传递给...

【专利技术属性】
技术研发人员：陈瑞，魏豪，张砚，贾惠柱，李源，
申请(专利权)人：天津大学，
类型：发明
国别省市：