基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法技术

本发明专利技术涉及一种基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法，采用两个共享权重的高分辨率网络作为编码器提取双时相遥感图像的语义上下文特征，然后将提取到的语义上下文特征对输入变化特征提取模块得到变化特征，对于每一个时相，将语义上下文特征和变化特征输入特征融合模块得到语义变化特征，最后将双时相语义变化特征输入两个解码器得到双时相语义变化检测结果。在编码器后加入语义分割头和对比学习特征表征头。语义分割头和高分辨编码器构成了语义分割子网，在这个子网中用教师

【技术实现步骤摘要】
基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法


[0001]本专利技术属于遥感图像处理
，具体涉及一种基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法。

技术介绍

[0002]在遥感领域，语义变化检测是一种利用地理配准的多时相遥感影像来检测地球表面语义变化的方法，广泛应用于城市规划、环境检测和灾害评估等领域。与仅预测像素级变化或未变化的变化检测不同，语义变化检测不仅可以检测变化位置，还可以指示变化方向(例如，从土地到建筑物的变化，从植被到水面的变化等)。因此，语义变化检测成为了一项重要且具有挑战性的遥感图像解译任务。
[0003]近年来，随着传感器技术的进步，大量的多时相高分辨率遥感图像可用，在此基础上，基于深度学习的语义变化检测方法得到了快速发展。与传统的语义变化检测方法相比，其语义变化检测性能有了明显的提高。Yang等人在文献“Asymmetric siamese networks for semantic change detection in aerial images.”中提出了一个非对称孪生网络，用从不同结构的模块中提取到的特征对来定位和识别语义变化，这些模块涉及不同大小的区域，并应用不同数量的参数来考虑不同地表覆盖分布的差异。Yuan等人在文献“A transformer
‑
based Siamese network and an open optical dataset for semantic change detection of remote sensing images”中提出了一种基于transformer的语义变化检测模型PyramidSCDFormer，该模型可以精确识别变化的微小变化和精细的边缘细节。Zhu等人在文献“Land
‑
Use/Land
‑
Cover change detection based on a Siamese global learning framework for high spatial resolution remote sensing imagery”中提出了一个基于编码器
‑
解码器的孪生网络语义变化检测框架，加入全局层次抽样机制解决样本不平衡问题，此外，在编码器和解码器之间加入二进制变化掩码，弱化了未变化区域对变化区域的影响。Ding等人在文献“Bi
‑
Temporal Semantic Reasoning for the Semantic Change Detection in HR Remote Sensing Images”中提出了Bi
‑
SRNet，它包含两种类型的语义推理块来推理单时态和跨时态语义相关性，以及一个语义一致性损失函数来提高变化检测结果的语义一致性。
[0004]但是目前深度学习的语义变化检测方法还存在着一些问题：1.高分辨率语义变化检测数据集在未变化类别和变化类别上存在严重的类别不平衡问题，未变化类别的样本数在总体样本数中占比超过90％，远大于变化类别的样本数。在训练过程中，网络由占比高的未变化类别主导，导致在占比低的变化类别上性能不佳。注意到只有变化类别有语义标签，因此，有必要为变化类别加入对比学习损失函数作为语义分割监督，使网络更加关注这些稀缺类别。2.由于只有变化类别有语义标签，所以有必要在语义分割上采用半监督对比学习，即在语义分割上用教师
‑
学生网络进行自训练，为有标签样本预测标签，为无标签样本预测伪标签，所预测的标签和伪标签都用于对比学习样本采样。3.通过最小化对比学习损
失函数可以使表示空间中属于同一类别的样本互相靠近，属于不同类别的样本互相远离，增强稀缺类别的可区分性。在语义类别中，部分类别具有高度的空间相关性和语义相似性，网络在对这些类别进行语义分割时，很容易产生混淆而导致错误分割。因此，在训练过程中，会出现大量难以正确进行分类的样本，即难样本。在对比学习中，有效的难样本挖掘策略非常重要，如何关注和利用这些难样本，让网络能够对它们进行正确地分类是重点和难点。

技术实现思路

[0005]要解决的技术问题
[0006]针对目前语义变化检测结果精度不足的问题，本专利技术提供一种基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法，用于高分辨遥感图像的语义变化检测。
[0007]技术方案
[0008]一种基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法，其特征在于步骤如下：
[0009]步骤1：构建基于高分辨网络的简单可扩展的直接语义变化检测模型来进行语义变化检测；
[0010]将T1和T2时相的遥感图像I1和I2输入两个共享权重的高分辨网络编码器和得到语义上下文特征对和然后将和输入变化特征提取模块得到变化特征f
cd
；对于T1时相，将和f
cd
输入特征融合模块，先对和作绝对差得到d
cd
，再将d
cd
进行1次1
×
1卷积操作得到语义变化特征对于T2时相，将和f
cd
输入特征融合模块得到语义变化特征最后将和输入两个解码器和得到T1和T2时相的语义变化检测结果和
[0011]步骤2：用半监督中的自训练方式进行语义分割；
[0012]步骤2
‑
1：构建语义分割子网用于半监督语义分割，对于T1和T2两个时相，分别在高分辨编码器和后加入两个不共享权重的语义分割头和和包含2个卷积层和一个softmax操作；第一个卷积层包含1个步幅为1，填充为2的3
×
3卷积，该卷积操作将输入特征向量通道数变为原来1/4，分辨率保持不变，即H0×
W0×
150，以及1个批归一化操作和1修正线性单元；第二个卷积层包含1个步幅为1的1
×
1卷积操作，将输入特征向量通道数变为语义分割类别数，分辨率保持不变，即H0×
W0×
6；最后用softmax操作进行归一化，得到语义分割结果和
[0013]语义分割头和高分辨编码器构成了语义分割子网，将语义上下文特征对和输入语义分割头和去进行半监督语义分割；因为仅在训练阶段使用半监督语义分割，所以和在推理期间被移除；
[0014]步骤2
‑
2：在语义分割子网中以半监督中的自训练方式进行语义分割，自训练使用
具有相同架构的学生模型和教师模型，教师模型的参数是学生模型参数的指数移动平均；
[0015]为了获得可靠的伪标签，使用学生模型预测的概率分布的熵来评估伪标签的质量，熵计算如下：
[0016][0017]其中是教师模型对第u个无标签像素产生的softmax概率，L为语义分割类别数
‘’
熵越低，伪标签的置信度就越高；在第t次迭代时，对于每一类l∈L，将无标签像素的熵从低到高进行排序，选择最低的百分比作为可靠伪标签。由于随着训练的进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法，其特征在于步骤如下：步骤1：构建基于高分辨网络的简单可扩展的直接语义变化检测模型来进行语义变化检测；将T1和T2时相的遥感图像I1和I2输入两个共享权重的高分辨网络编码器和得到语义上下文特征对和然后将和输入变化特征提取模块得到变化特征f
cd
；对于T1时相，将和f
cd
输入特征融合模块，先对和作绝对差得到d
cd
，再将d
cd
进行1次1
×
1卷积操作得到语义变化特征对于T2时相，将和f
cd
输入特征融合模块得到语义变化特征最后将和输入两个解码器和得到T1和T2时相的语义变化检测结果和步骤2：用半监督中的自训练方式进行语义分割；步骤2
‑
1：构建语义分割子网用于半监督语义分割，对于T1和T2两个时相，分别在高分辨编码器和后加入两个不共享权重的语义分割头和和包含2个卷积层和一个softmax操作；第一个卷积层包含1个步幅为1，填充为2的3
×
3卷积，该卷积操作将输入特征向量通道数变为原来1/4，分辨率保持不变，即H0×
W0×
150，以及1个批归一化操作和1修正线性单元；第二个卷积层包含1个步幅为1的1
×
1卷积操作，将输入特征向量通道数变为语义分割类别数，分辨率保持不变，即H0×
W0×
6；最后用softmax操作进行归一化，得到语义分割结果和语义分割头和高分辨编码器构成了语义分割子网，将语义上下文特征对和输入语义分割头和去进行半监督语义分割；因为仅在训练阶段使用半监督语义分割，所以和在推理期间被移除；步骤2
‑
2：在语义分割子网中以半监督中的自训练方式进行语义分割，自训练使用具有相同架构的学生模型和教师模型，教师模型的参数是学生模型参数的指数移动平均；为了获得可靠的伪标签，使用学生模型预测的概率分布的熵来评估伪标签的质量，熵计算如下：其中是教师模型对第u个无标签像素产生的softmax概率，L为语义分割类别数
‘’
熵越低，伪标签的置信度就越高；在第t次迭代时，对于每一类l∈L，将无标签像素的熵从低到高进行排序，选择最低的百分比作为可靠伪标签。由于随着训练的进行，伪标签越来越可靠，因此应进行动态调整，是一个百分数，计算如下：
其中α0为初始百分比，设为50％，α
e
为最终百分比，设为80％，是t
‑
1次迭代中类l的预测准确率，代表着所有分类为l的样本中预测正确样本的概率；为了避免误差的累积，在训练中间开始自训练；语义分割上的有监督和无监督损失函数和为交叉熵损失，描述为：为交叉熵损失，描述为：其中N
l
为有标签像素的个数，N
u
为无标签像素的个数，和分别表示真值标签和语义分割头在第p个有标记像素上的预测概率，和分别表示伪标签和语义分割头在第p个无标记像素上的预测概率；步骤3：在语义分割上使用自适应采样策略进行半监督对比学习；在高分辨编码器和后加入不共享权重的对比学习特征表示头和和和包含2个卷积层；第一个卷积层包含1个步幅为1，填充为2的3
×
3卷积，该卷积操作将输入特征向量通道数变为原来1/4，分辨率保持不变，即H0×
W0×
150，以及1个批归一化操作和1修正线性单元；第二个卷积层包含1个步幅为1的1
×
1卷积操作，将输入特征向量通道数变为256，分辨率保持不变，即H0×
W0×
256；将语义上下文特征和输入对比学习特征表示头和得到密集语义特征表示和由于对比损失仅在训练期间提供监督，因此对比学习特征表示头在推理期间被移除；用自适应的采样策略在语义特征表示和中对不同语义类别的样本对应的特征向量进行采样，采样空间为学生模型在无标签像素上预测的伪标签和真实标签，计算对比学习损失函数L
c
：其中，L是语义分割类别的数量；z
la
是第l类第a个锚点的特征向量，是第l类的正样本，是所有第l类样本特征向量的平均值，是第l类第a个锚点的第b个属于其他类别的负样本的特征向量；对于L中的每个类别，锚点和锚点的负样本对应的特征向量都采集自语义特征表示和每个类别都有A个锚点，并且每个锚点都有一个正样本和B个负样本；<
·
,
·
>是两个特征向量之间的余弦相似度，用于度量两个特征向量之间的距离，范围为
‑
1到1，τ＝0.5是温度系数；对于当前训练批量中的每个类别，通过最小化L
c
，拉近该类别的锚点与其正样本的距离，而推远该类别的锚点与其负样本的距离；
对于语义类别l，本发明根据相似度分布在其他类别上进行非均匀抽样，相似度分布定义如下：布定义如下：由类别l与其他类别经过softmax归一化后的类别相似度组成，和是类别l和g的正样本，<
·
,
·
>是两个特征向量之间的余弦相似度；步骤4：通过使总体的损失函数L最小来优化模型的参数，总体的损失函数L由T1和T2的语义变化检测损失和语义分割上的有监督和无监督损失函数和以及语义分割上的对比学习损失函数L
c
构成；语义变化检测损失和为交叉熵损失，描述为：为：其中T为像素的个数，和和分别表示真值标签和解码器和在第t个像素上的预测概率；总体的损失函数L...

【专利技术属性】
技术研发人员：张秀伟，张艳宁，杨一哲，于雷，安博远，田牧，尹翰林，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：