【技术实现步骤摘要】
基于空间和语义一致性对比学习的遥感图像语义分割方法及系统
[0001]本专利技术属于遥感图像处理领域，涉及遥感图像的语义分割，具体的说是基于空间和语义一致性对比学习的遥感图像语义分割方法及系统。
技术介绍
[0002]语义分割在遥感场景理解中起着举足轻重的作用，其目的是为遥感图像中的每个像素分配类别标签。该任务在包括城市规划在内的各种遥感场景中具有广泛的应用。在过去的十年中，由于其在遥感中无处不在的重要性，语义分割技术已经取得了相当大的进步。
[0003]自全卷积网络被提出以来，基于深度学习的方法已成为语义分割的主导技术。然而，它们的卓越性能是以大量像素级标注为代价的，这些标注不仅成本高昂，而且需要大量劳动力才能获得。尽管存在公开可用的语义分割数据集，但当前的训练数据量仍然不足以解决大规模遥感特征提取的复杂性。此外，大多数这些数据集仅限于特定区域，严重阻碍了分割模型的泛化能力。为了克服这些挑战，已经探索了两种可能的策略。第一个涉及采用半监督训练方案来减少对注释数据的依赖，并通过为未标记数据生成预测注释来促进训练。第二...
【技术保护点】
【技术特征摘要】
1.基于空间和语义一致性对比学习的遥感图像语义分割方法，其特征在于：所述方法具体过程为：步骤1：构建无标注的遥感图像数据集，对数据集中的图像进行数据增强，获取数据增强后的无标注遥感图像数据集；步骤2：采用骨干网络对步骤1获取的数据增强后的无标注遥感图像数据进行特征提取，得到遥感特征图；步骤3：基于步骤2获取的遥感特征图，构建实例级分支；步骤4：基于步骤2获取的遥感特征图，构建一致性分支；步骤5：基于步骤3构建的实例级分支和步骤4构建的一致性分支，构建自监督对比学习框架的整体损失函数；采用无标注的遥感图像对骨干网络训练，获得预训练好的骨干网络；步骤6：在步骤5获取的预训练好的骨干网络上，连接UperNet分割头网络构建语义分割网络，使用像素级标注训练样本对语义分割网络的参数进行微调，获得微调好的语义分割网络，微调好的语义分割网络用于后续的遥感语义分割任务。2.根据权利要求1所述的基于空间和语义一致性对比学习的遥感图像语义分割方法，其特征在于：所述步骤1中构建无标注的遥感图像数据集，对数据集中的图像进行数据增强，获取数据增强后的无标注遥感图像数据集；具体过程为：对于数据集中的任意一张图像x，采用相同的随机图像增强操作对同一张图像进行数据增强来得到两个对应的增强视图：具体为：据增强来得到两个对应的增强视图：具体为：其中，t和t
′
表示两个数据增强操作，x
q
和x
k
表示两个增强视图；所述图像增强操作包括随机裁剪、随机水平翻转、随机颜色变换以及高斯模糊。3.根据权利要求2所述的基于空间和语义一致性对比学习的遥感图像语义分割方法，其特征在于：所述步骤2中采用骨干网络对步骤1获取的数据增强后的无标注遥感图像数据进行特征提取，得到遥感特征图；具体过程为：h
q
＝f
q
(x
q
),h
k
＝f
k
(x
k
)其中，f
q
和f
k
表示骨干网络，h
q
和h
k
表示从x
q
和x
k
中提取的特征图，f
q
和f
k
的参数共享。4.根据权利要求3所述的基于空间和语义一致性对比学习的遥感图像语义分割方法，其特征在于：所述步骤3中基于步骤2获取的遥感特征图，构建实例级分支；具体过程为：实例级分支包含一个映射头和一个实例级相似度函数；步骤3.1：映射头由两个线性层和一个非线性激活函数构成；针对源自同一图像的两个增强视图，通过映射头网络对两个增强视图进行特征提取并得到向量，操作如下所示：z
q
＝g(h
q
)＝W
(2)
σ(W
(1)
h
q
),z
k
＝g(h
k
)其中，g(
·
)表示映射头，z
q
和z
k
表示向量，σ为ReLU非线性激活函数，W
(1)
和W
(2)
表示两个线性层；步骤3.2：构建实例级分支；具体过程为：
将第一对来源同一图像的两个增强视图视作正样本，而其他的增强视图视作负样本；InfoNCE损失用于最大化正样本的交互信息并最小化负样本的交互信息；基于InfoNCE损失构建实例级相似度损失函数，实例级相似度损失函数定义如下：其中，式中，为负样本的向量集合，τ＞0为温度超参数，sim(
·
)表示余弦相似度函数，表示正样本对的互信息估计，表示负样本对的互信息估计，z
n
表示向量，表示实例级相似度损失函数，
·
表示...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。