一种多支路协同语义变化检测方法、系统、设备及介质技术方案

一种多支路协同语义变化检测方法、系统、设备及介质，其方法为，引入伪标签对未变化区域预测语义类别标签；通过向ResNet添加额外的高分辨率分支实现双分辨率网络；引入上下文信息交互模块利用目标区域表示增强其上下文信息表示，将原始特征与上下文信息交互特征拼接操作，得到最终的增强特征；将提取到的增强特征进行多种方式通道融合，并在降维前引入通道注意力机制聚焦通道域的重要特征，以折衷复杂度和特征的丰富度，提高变化区域检测精度，降低未变化区域误检率；其系统、设备及介质基于上述方法实现多支路协同语义变化检测；本发明专利技术利用多支路网络结构对地物覆盖信息和变化信息进行有效建模，多支路交互协同，提高了特征利用率，共同提升了任务性能。共同提升了任务性能。共同提升了任务性能。

【技术实现步骤摘要】
一种多支路协同语义变化检测方法、系统、设备及介质


[0001]本专利技术属于语义变化检测
，尤其涉及一种多支路协同语义变化检测方法、系统、设备及介质。

技术介绍

[0002]对给定一组相同区域不同时相的遥感图像对进行检测，现有算法大多聚焦于检测不同时相的图像之间变化与未变化像素点的位置，即二进制变化检测(Binary Change Detection,BCD)，其提供的信息较单一，无法为后续应用提供更丰富、精细的语义信息；语义变化检测(Semantic Change Detection,SCD)不仅能够识别变化区域，还能得到双时相区域的变化类别。语义变化检测任务可分解为两个任务的组合：对遥感图像对的语义分割和二值变化检测。
[0003]由于大规模语义变化检测数据集的限制，大多数现有的语义变化检测方法都专注于场景级的变化，其中语义变化图仅由粗糙的边界或稀缺的类别信息生成。随着像素级语义变化检测数据集的不断提出，一些特定的用于语义变化检测的模型和方法也被提出，但由于在语义变化检测任务中，存在1)背景复杂：双时相遥感图像对的各区域具有复杂的地表特征分布，具体表现为分辨率不一，不同图像间分布无明显规律，难分样本多等特点，给语义变化检测结果带来了负面影响；2)存在“椒盐噪声”：双时相遥感图像对存在光谱可变性，通过传统像素分类方法识别出的区域往往不精细且呈现出类似椒盐噪声样的识别结果；3)视觉特征易混淆：双时相遥感图像对之间的成像条件存在差异，或存在噪声干扰，图像对中的特征与原始情况相比在视觉上可能存在混淆，增加了识别变化区域的难度；4)类别不平衡：在传统变化检测识别变化与未变化区域的基础上，语义变化检测还需要提供观测前后详细的土地覆盖类别。变化类与未变化类、各变化类存在类别不平衡问题，训练样本少的类别难以被准确挖掘；5)子任务间交互不足：语义变化检测任务分解出的子任务间易存在误差累积，子任务分支交互受限，特征利用率不足，导致检测效果不佳；等挑战，导致误差累积、特征利用率较低，使得预测模型无法学习到充足有效的特征，进而影响模型的检测性能。
[0004]现有语义变化检测方法方案包括基于传统手工设计的算法和基于深度学习的算法。
[0005]基于传统手工设计的算法中，国内外学者主要对变化检测算法进行手工设计，这些方法需要先验知识，比如纹理、形态等。代表性的算法有支持向量机(supporting vector，SVM)，决策树(decision tree，DT)、随机森林(random forest)、马尔科夫随机场(Markov random field，MRF)等[眭海刚,冯文卿,李文卓,等.多时相遥感影像变化检测方法综述[J].武汉大学学报,信息科学版,2018,43(12):1885
‑
1898.]，但手工设计算法难以捕捉高级语义信息，速度较慢，设计过程复杂，且泛化性较差。近些年来，随着人工智能及图像处理技术的飞速发展，深度学习方法迅速被应用于变化检测领域。其中，由于能够同时提取低级细节信息和高级语义特征，卷积神经网络(Convolutional Neural Networks,CNN)
change detection in HR remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2022,60:1
‑
14.]引入了融合单元，对双时相图像对之间的时间相关性进行建模。但是仍存在以下缺陷：
[0008]1)未考虑数据集的分布特性、复杂背景下存在难分样本问题，难以挖掘有效的高级语义信息，得到有代表性的深层特征；
[0009]2)未考虑到遥感图像的光谱可变性，在丰富而复杂的几何信息的背景下基础上未考虑到像素与空间的关系，即没有考虑上下文信息交互；
[0010]3)未考虑样本不平衡问题，导致某些类的分割难度较大，网络会向类别较多的样本方向拟合，导致语义变化检测结果不够精确；
[0011]4)没有挖掘隐藏的深层特征的相关性，导致特征利用率不足，导致检测效果不佳。

技术实现思路

[0012]为了克服上述现有技术的不足，本专利技术的目的在于提出一种多支路协同语义变化检测方法、系统、设备及介质，引入伪标签来对未变化区域预测语义类别标签，从而增加标注像素的数量，缓解数据量小的问题；通过向ResNet添加额外的高分辨率分支来实现双分辨率网络；然后，引入上下文信息交互模块利用目标区域表示来增强其上下文信息表示，显式地将像素分类问题转化为物体区域分类问题；再将提取到的增强特征进行多种方式的通道融合，同时为了折衷复杂度和特征的丰富度，在降维前引入通道注意力机制来聚焦通道域的重要特征，从而提高变化区域的检测精度，降低未变化区域的误检率；本专利技术利用多支路网络结构对地物覆盖信息和变化信息进行有效建模，为子任务嵌入更多面向对象的特征提供了更加一致的变化信息，多支路进行交互协同，提高了特征利用率，共同提升了检测任务性能。
[0013]为了实现上述目的，本专利技术采用的技术方案如下：
[0014]一种多支路协同语义变化检测系统及方法，引入伪标签来对未变化区域预测语义类别标签，从而增加标注像素的数量；通过向ResNet添加额外的高分辨率分支来实现双分辨率网络；然后，引入上下文信息交互模块利用目标区域表示来增强其上下文信息表示，得到上下文信息交互特征，将原始特征与上下文信息交互特征进行拼接操作，得到最终的增强特征；再将提取到的增强特征进行多种方式的通道融合，同时在降维前引入通道注意力机制来聚焦通道域的重要特征，折衷复杂度和特征的丰富度，以提高变化区域的检测精度，降低未变化区域的误检率。
[0015]一种多支路协同语义变化检测方法，具体包括以下步骤：
[0016]S1、将语义变化检测样本集进行划分，将公开可用的语义变化检测数据集随机划分为训练集和测试集；
[0017]S2、读取步骤S1中划分的训练集的图像，对其进行数据处理及数据增强：
[0018]S3、采用多分辨率卷积神经双向融合网络对双时相遥感图像进行特征提取，提取的多分辨率特征为X
ms
，
[0019]在分类主干网络ResNet基础上添加一个额外的高分辨率分支，ResNet网络在执行下采样时分为四个阶段，每个阶段的输出结果将特征图的大小减半，通道数加倍，逐级提取高级语义特征，在不同的阶段执行对高分辨率分支的特征与低分辨率分支的特征分别进行
“
高
‑
低融合”和“低
‑
高融合”，通过双向特征融合充分利用多分辨率的空间信息和语义信息；
[0020]S4、引入类自注意力机制的思想用于构建上下文信息交互模块，采用上下文信息交互模块来增强上下文信息，最终上下文信息交互后的增强特征为X
ce
，
[0021]S5、对双时相提取到的特征进行通道融合，最终融合后的特征为X
fus
，<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多支路协同语义变化检测方法，其特征在于，引入伪标签来对未变化区域预测语义类别标签，从而增加标注像素的数量；通过向ResNet添加额外的高分辨率分支来实现双分辨率网络；然后，引入上下文信息交互模块，利用目标区域表示来增强其上下文信息表示，得到上下文信息交互特征，将原始特征与上下文信息交互特征进行拼接操作，得到最终的增强特征；再将提取到的增强特征进行多种方式的通道融合，同时在降维前引入通道注意力机制来聚焦通道域的重要特征，折衷复杂度和特征的丰富度，以提高变化区域的检测精度，降低未变化区域的误检率。2.根据权利要求1所述的一种多支路协同语义变化检测方法，其特征在于，具体包括以下步骤：S1、将语义变化检测样本集进行划分，将公开可用的语义变化检测数据集随机划分为训练集和测试集；S2、读取步骤S1中划分的训练集的图像，对其进行数据处理及数据增强：S3、采用多分辨率卷积神经双向融合网络对双时相遥感图像进行特征提取，提取的多分辨率特征为X
ms
，在分类主干网络ResNet基础上添加一个额外的高分辨率分支，ResNet网络在执行下采样时分为四个阶段，每个阶段的输出结果将特征图的大小减半，通道数加倍，逐级提取高级语义特征，在不同的阶段执行对高分辨率分支的特征与低分辨率分支的特征分别进行“高
‑
低融合”和“低
‑
高融合”，通过双向特征融合，充分利用多分辨率的空间信息和语义信息；S4、引入类自注意力机制用于构建上下文信息交互模块，采用上下文信息交互模块来增强上下文信息，最终上下文信息交互后的增强特征为X
ce
，S5、对双时相提取到的特征进行通道融合，最终融合后的特征为X
fus
，S6、根据步骤S4和步骤S5最终融合后的特征，通过对应的语义分割解码器和二值变化检测解码器，得到最终输出结果。3.根据权利要求2所述的一种多支路协同语义变化检测方法，其特征在于，所述步骤S2的具体方法为：首先，选取多个经典的网络模型，包括ResNet101、HRNet
‑
W64，将原始数据输入进模型进行训练，将训练好的模型通过模型集成的方式对语义变化检测数据集的未变化区域具体的语义类别进行预测，将未变化区域的预测的结果作为伪标签，结合变化区域的已有标签，实现数据集的二次标注，增加标注像素的数量；然后，通过随机左右翻转、上下翻转和多角度旋转来对数据进行数据增强。4.根据权利要求3所述的一种多支路协同语义变化检测方法，其特征在于，所述步骤S2中用于伪标签生成的模型不参与后续的训练及测试。5.根据权利要求2所述的一种多支路协同语义变化检测方法，其特征在于，所述步骤S4的具体方法为：S401、对步骤S3提取的多分辨率特征X
ms
进行卷积和维度转换操作，见公式(1)：X
feats
＝RELU(BN(Conv3×3(X
ms
)))
ꢀꢀꢀꢀ
(1)X
permute
＝Permute(X
feats
) (2)
其中，Permute(
·
)指的是维度调换操作；S402、对X
ms
通过一个简单的粗分割网络得到粗语义分割结果RSS；RSS＝Conv1×1(RELU(BN(Conv1×1(X
ms
))))
ꢀꢀꢀꢀ
(3)S403、对步骤S402得到的粗语义分割结果RSS进行Softmax和维度转换操作，得到C组，C为分割类别，向量集合V＝{V
i
，i＝1，...，C}，每个向量V
i
是一个类别的特征表示；X
soft
＝softmax(Permute(X
ms
))
ꢀꢀꢀ
(4)S404、对步骤S401和步骤S403得到的结果进行矩阵相乘，得到对象上下文表征；X
object
＝Matmul(X
permute
，X
soft
)
ꢀꢀꢀ
(5)S405、计算每个像素和步骤S404得到的对象上下文表征的关系，得到每个像素的最终表征；引入Q...

【专利技术属性】
技术研发人员：王蓉芳，李畅，焦昶哲，刘若辰，牛毅，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：