【技术实现步骤摘要】
本专利技术属于遥感图像，具体涉及一种耦合多尺度高低频特征的遥感图像建筑物提取方法。
技术介绍
1、准确提取高分辨率遥感图像中的建筑物对于城市规划、城市动态监测、灾害响应和其他相关应用具有重要意义。然而，由于建筑物的类内差异大，涵盖了不同尺度和多样形状的建筑物。并且城市背景复杂，难以在复杂的场景中准确区分建筑物，导致分割边界不够清晰。因此，如何在高分辨率的遥感图像中实现建筑物的高效准确提取仍然是一项具有挑战性的任务。
2、为解决建筑物提取中通常面临的尺度差异和边界模糊的问题，充分利用遥感图像中的高低频特征显得尤为关键。缺少高频信息可能导致小型建筑物的漏检和分割边界的不准确；而缺少低频信息可能导致大型建筑物的分割结果不连续，内部可能出孔洞。目前，卷积神经网络(cnn)和自注意力机制(transformer)被认为是有效提取高频和低频特征的方法。cnn擅长提取高频特征，但感受野有限，缺乏建模长距离依赖的能力；transformer通常具有较大的计算需求，在提取高频特征方面效果较差。所以，需要结合二者的优势来实现有效的高低频特征融合，达到精细的建筑物分割效果。
3、目前利用卷积神经网络与自注意力机制提取遥感图像中建筑物的实现方案主要为：
4、(1)根据遥感图像训练数据(有建筑物逐像素标记的数据集)，若有需要则按照一定裁剪尺寸和重叠率对大幅面遥感图像进行裁剪。
5、(2)利用图像及其图像标签，设计专用的深度网络进行建筑物的提取。通常采用编码-解码的端到端结构。大多数结合cnn和transfo
6、(3)加载基于全监督预训练得到的骨干网络模型权重(例如在imagenet上预训练)，随后在下游建筑物分割任务中进行微调，以加快模型收敛进程。
7、将建筑物数据集的训练集输入语义分割网络中进行模型训练，利用测试集对模型进行测试，选择测试集精度最高的模型作为最终模型。可以选择对预测结果进行后处理，进一步优化边界和预测准确度
8、当前遥感图像的建筑物提取研究忽略了在特征提取中结合cnn和transformer的潜在优势，且忽视了网络中特征的分层性质：网络的浅层更擅长捕捉高频(边缘和纹理之类的细节特征)，深层更擅长捕捉低频特征(更复杂的模式与整体的形状结构)。同时也缺乏更为有效的多尺度特征融合策略来融合不同深度获取的高低频特征，以应对建筑物的尺度变化。
技术实现思路
1、专利技术目的：为解决分割建筑物中的尺度多变与边界模糊的问题，充分利用建筑物提取中重要的高低频特征，本专利技术提出了一种耦合多尺度高低频特征的遥感图像建筑物提取方法；以多尺度高低频特征融合、多层次空间交互为切入点，设计高分辨率遥感图像中的建筑物提取方法，解决小型建筑物漏检和大型建筑物提取不完整的问题，实现建筑物的精细提取。
2、技术方案：一种耦合多尺度高低频特征的遥感图像建筑物提取方法，包括以下步骤：
3、步骤1：搭建cicf-net模型；
4、步骤2：选取遥感建筑物数据集，将该遥感建筑物数据集划分为训练集、验证集和测试集；
5、步骤3：采用训练集对搭建的cicf-net模型进行训练，在训练过程中通过验证集进行验证，以及cicf-net模型的参数调整，在测试集中进行测试，选取测试结果最优的cicf-net模型作为最终cicf-net模型；
6、步骤4：将待建筑物提取的遥感图像输入至最终cicf-net模型中，得到建筑物提取结果；
7、其中，所述cicf-net模型包括编码器和解码器；
8、所述编码器依次由第一patch embedding操作、第一多尺度融合阶段、……、第ipatch embedding操作、第i多尺度融合阶段、……、第四patch embedding操作、第四多尺度融合阶段；
9、在每个多尺度融合阶段内，均包括第一高低频特征聚合器、第一下采样、第二高低频特征聚合器、第二下采样、聚焦块和一转换块；第一高低频特征聚合器的输出通过第一下采样连接第二高低频特征聚合器，第二高低频特征聚合器的输出通过第二下采样连接聚焦块；所述第一高低频特征聚合器的分辨率高于第二高低频特征聚合器的分辨率；聚焦块的输出、第一高低频特征聚合器的输出和第二高低频特征聚合器的输出通过转换块进行融合，得到融合后的特征图；
10、所述第一高低频特征聚合器的数量为1个或多个，所述第二高低频特征聚合器的数量为1个或多个，所述聚焦块的数量为1个或多个。
11、进一步的，在所述高低频特征聚合器内执行以下过程：
12、输入的特征图沿通道维度被划分为低频分支和高频分支，高频分支内进一步分为第一高频子分支和第二高频子分支；
13、低频分支的特征依次经过深度可分离卷积和跳过连接进行位置编码、使用平均池化操作进行稀疏化、进行多头自注意力操作和进行上采样，得到低频分支的输出；
14、第一高频分支的特征依次经过最大池化、线性层与gelu激活函数，得到第一高频分支的输出；
15、第二高频分支的特征经过具有通道扩展操作的逆瓶颈层，得到第二高频分支的输出；
16、将低频分支的输出、第一高频分支的输出和第二高频分支的输出进行拼接，得到拼接后的特征，将拼接后的特征依次经过深度可分离卷积、跳过连接和线性层，得到高低频特征聚合器的输出。
17、进一步的，所述具有通道扩展操作的逆瓶颈层用于将第二高频分支的特征的维度从d扩展到4d，然后再缩减回d。
18、进一步的，所述第一高频子分支和第二高频子分支的通道数相同，均为高频分支通道数的一半。
19、进一步的，基于频率斜坡机制和设定的嵌入维数，对每个多尺度融合阶段的高低频分支的通道比例进行调整。
20、进一步的，所述的基于频率斜坡机制和设定的嵌入维数，对每个多尺度融合阶段的高低频分支的通道比例进行调整，具体包括：
21、对于每个多尺度融合阶段，定义一对通道比例chigh/c和clow/c，chigh/c+clow/c＝1，c表示总通道数，chigh表示高频分支的通道数，clow表示低频分支的通道数；随着网络的加深，阶段的递进，clow应逐渐增大；
22、通过定义“头”来控制通道比例，包括：
23、对于每个多尺度融合阶段，定义自注意力的头数占总头数的比例为该多尺度融合阶段的clow；
24、同时保证自注意力的头数占总头数的比例和该多尺度融合阶段的嵌入维数相乘得到整数。
25、进一步的，所述解码器为在upernet模型的基础上经过以下操作得到：
26、操作一：下采样过程中的特征图进行1×1的卷积，而后输入到上采样的过程中进行融合；本文档来自技高网...
【技术保护点】
1.一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：在所述高低频特征聚合器内执行以下过程：
3.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述具有通道扩展操作的逆瓶颈层用于将第二高频分支的特征的维度从d扩展到4d，然后再缩减回d。
4.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述第一高频子分支和第二高频子分支的通道数相同，均为高频分支通道数的一半。
5.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：基于频率斜坡机制和设定的嵌入维数，对每个多尺度融合阶段的高低频分支的通道比例进行调整。
6.根据权利要求5所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述的基于频率斜坡机制和设定的嵌入维数，对每个多尺度融合阶段的高低频分支的通道比例进行调整，具体包括：
7.根据
8.根据权利要求1所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述第一Patch Embedding操作包括两次卷积-标准化操作和位于两次卷积-标准化操作之间的激活函数；所述第二Patch Embedding操作至第四Patch Embedding操作均包括一次卷积-标准化操作。
...【技术特征摘要】
1.一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：在所述高低频特征聚合器内执行以下过程：
3.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述具有通道扩展操作的逆瓶颈层用于将第二高频分支的特征的维度从d扩展到4d，然后再缩减回d。
4.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：所述第一高频子分支和第二高频子分支的通道数相同，均为高频分支通道数的一半。
5.根据权利要求2所述的一种耦合多尺度高低频特征的遥感图像建筑物提取方法，其特征在于：基于频率斜坡机制和设定的嵌入维数，对每个...
【专利技术属性】
技术研发人员：肖鹏峰，陈欣扬，张学良，地力夏提·木哈塔尔，王璐涵，谷丰，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。