【技术实现步骤摘要】
本专利技术属于遥感图像语义分割和对比学习提取建筑物，具体涉及一种半监督场景融合改进mbi负采样像素级对比学习与先验知识引导上采样的遥感图像语义分割提取建筑物方法。
技术介绍
1、伴随着科学技术，尤其是雷达监测技术的进步，遥感技术实现了全天候、全天时对地观测，高空间和高光谱分辨率影像数据成为主流，地物纹理、细节信息更加丰富，遥感正式进入了高分遥感时代。同时，城市区域扩张监测一时间研究颇热，如何界定城区范围成为关键，建筑物提取作为高分遥感技术的一个重要方向，可以准确有效测量城市区域建筑物分布、密度、规模。因此，本专利新颖的遥感建筑物提取思路对于城市规划、资源管理具有重要的现实意义。
2、在过去的几年里，卷积神经网络(cnn)已经成为语义分割中最常用的工具，一些基于cnn的架构已经在这个任务中显示了它们的有效性，例如fcn、segnet、u-net、pspnet和deeplab。这些传统的语义分割方法通常依赖于大量标记的训练数据，其中每个像素都要手动标注其对应类别，然而手动标注大规模数据集是昂贵且耗时的——这种情况在高分遥感领域尤其突出，受限于拍摄角度、光照条件和云覆盖等因素，手动标注大规模高分遥感数据集变得更加困难。此外，高分遥感图像通常具有大量细节信息和复杂的场景，使得像素级别的标注工作更加耗时且容易出错。在这样的背景下，对比学习逐渐引起了语义分割领域的关注。对比学习是一种无监督学习方法，它通过学习样本之间的相似性和差异性来进行特征学习(wu z,xiong y,yu s x,et al.unsupervised fe
3、在对比学习领域，一个典型的问题是正负样本的选取，正样本可以简单通过图像增强等方式加工得到，负样本选取则比较棘手，当存在标签信息时，可选择锚点像素正样本同一类别像素，负样本为不同类别像素，但在像素级对比学习中，标签信息未知，选择正负样本可能变得比较困难。
4、为了解决像素级对比学习正负样本选取难题，基于新颖的负样本子采样策略(zhong y,yuan b,wu h,et al.pixel contrastive-consistent semi-supervisedsemantic segmentation[c]//proceedings of the ieee/cvf internationalconference on computer vision.2021:7273-7282.)得到了关注，但种种此类方法或衍生方法应用到高分遥感领域仍然存在一定的问题，这是因为高分遥感图像包含大量的背景信息和不同尺度地物对象，在正负样本选取时要考虑平衡对不同地物类别的关注，这很难通过简单的子采样策略选取。
5、不过根据经验，我们很轻易联想到，在弱监督场景中，建筑物指数图像(huang x,zhang l.amultidirectional and multiscale morphological index for automaticbuilding extraction from multispectral geoeye-1imagery[j].photogrammetricengineering&remote sensing,2011,77(7):721-732.)——mbi特征图可以简单的用作伪标签，作对比学习正负样本选取的参考，但考虑到简单的mbi计算会混杂有大量的道路，因此我们参考stn空间变换网络仿射变换、图像校正的思路，利用fastsam提取的通用语义特征校正粗提取的mbi特征图。另外，建筑物指数特征图中蕴含的语义特征——包括形状、大小、纹理等，也可以用来指导建筑物分割上采样过程。如何加强语义分割和对比学习的关联性，并融合mbi引导两个任务，使得这两个任务更好地帮助彼此，也是一个非常重要的问题。
技术实现思路
1、鉴于上述，本专利技术提供了一种半监督场景融合改进mbi的负采样像素级对比学习与先验知识引导上采样的遥感图像语义分割提取建筑物方法，在半监督大量训练数据缺少标签的情况下利用对比学习预训练模型，进而通过少量带标签数据集作模型微调，实现少量带标签数据样本下语义分割提取建筑物。同时对遥感图像进行mbi引导的上采样生成语义分割结果，通过语义分割和上采样模块的互相协同和促进，从而进一步提高遥感图像语义分割模型和融合mbi通道注意力机制上采样模型的性能和鲁棒性。
2、一种半监督场景融合改进mbi的对比学习与语义分割方法，其特征在于，包括如下步骤：
3、(1)图像准备：一类带语义标签ys的遥感图像一类无标签遥感图像
4、(2)构建一个基于基准模型改进的mbi计算模块；
5、(3)构建并初始化模型，构建一个对比学习语义分割模型；
6、(4)将无标签遥感图像作一次颜色增强，生成一个增强样本从增强样本选择锚定像素，将增强样本输入改进的mbi计算模块中，得到mbi特征图，以mbi特征图作为伪标签，在无标签遥感图像中选择与锚定像素类别相同的像素作为正样本在无标签遥感图像中锚定像素类别不相同的像素作为负样本将增强样本正样本负样本作为输入到步骤2)获得的对比学习语义分割模型的第一模块中，以最大化正样本对相似性、最小化负样本对共享编码器作对比学习预训练，得到初步训练后的编码器；
7、将带语义标签ys的遥感图像作为对比学习语义分割模型的第二模块输入，语义标签ys作为语义分割模块训练标签，上采样阶段融合了mbi先验知识引导，对初步训练后的编码器微调，得到最终的编码器；
8、(5)将步骤(3)获得的最终的编码器用于半监督场景语义分割和建筑物提取。
9、半监督场景融合改进mbi负采样像素级对比学习与先验知识引导上采样的遥感图像语义分割提取建筑物方法，主要包括融合改进mbi负采样的像素级对比学习预训练模块、融合改进mbi先验知识引导上采样的语义分割微调训练模块。本专利技术利用对比学习任务来预训练共享编码器结构，并利用融合mbi注意力机制的上采样语义分割任务来微调共享编码器，得到最终的语义编码网络，从而提高遥感图像语义分割方法的准确性。并且，本专利技术提出一种利用改进mbi先验知识分别引导对比学习负样本采样和语义分割上采样，以实现增强对比学习正负样本区分度和语义分割效果。
10、进一步地，步骤(2)中，所述基于基准模型改进的mbi计算模块包括：
11、2.1)remoteclip预提取模块，用于：通过将带语义标签ys的遥感图像和无标签遥感图像输入遥感视觉领域的基准模型rem本文档来自技高网...
【技术保护点】
1.一种半监督场景融合改进MBI的对比学习与语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的半监督场景融合MBI的对比学习与语义分割方法，其特征在于，步骤(2)中，所述基于基准模型改进的MBI计算模块包括：
3.根据权利要求1所述的半监督场景融合MBI的对比学习与语义分割方法，其特征在于，步骤(3)中，所述对比学习语义分割模型包括：
4.根据权利要求3所述的半监督场景融合MBI的对比学习与语义分割方法，其特征在于，步骤3.1)中，初步训练共享特征编码器采用对比损失度量函数计算表达式如下：
【技术特征摘要】
1.一种半监督场景融合改进mbi的对比学习与语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的半监督场景融合mbi的对比学习与语义分割方法，其特征在于，步骤(2)中，所述基于基准模型改进的mbi计算模块包括：
3.根据权利要求1所述的...
【专利技术属性】
技术研发人员：尹建伟，王修航，蔡钰祥，李照帅，郭玉龙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。