本申请涉及一种基于混合特征提取的遥感图像语义分割方法、装置和设备。该方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；骨干网络为上下文聚类网络CoCs；将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取；将第三阶段的输出特征、语义增强特征和高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。该方法可实现遥感图像的精确分割，并在计算成本和表现效果之间实现了平衡。了平衡。了平衡。
【技术实现步骤摘要】
基于混合特征提取的遥感图像语义分割方法、装置和设备
[0001]本申请涉及图像处理
，特别是涉及一种基于混合特征提取的遥感图像语义分割方法、装置和设备。
技术介绍
[0002]随着飞行器、卫星等远距离手段获取地球表面特征信息的技术不断发展，通过遥感技术，可以观测到地球表面的陆地、海洋、大气、生物等多个方面的信息，并能够实现对它们的分析和处理。遥感技术已经广泛应用于农业、林业、水资源管理、城市规划、环境保护、天气预报、国土资源调查等领域。如何利用这些日益丰富且完善的遥感数据集，对地球进行智能观测，是遥感领域一个巨大的机会和挑战。其中遥感语义分割利用遥感技术获取的图像，通过计算机视觉和深度学习算法对其进行像素级别的分类和标注，将图像中的每个像素点都标记为相应的类别，从而实现对图像的语义理解和识别，其主要要求是，网络必须能够捕获遥感场景的整体视图，同时保留遥感图像的细节和语义信息。在遥感应用中，语义分割可以帮助快速准确地提取出图像中的各种地物信息，如建筑、道路、河流、森林等，从而实现对地表特征进行精细化分析和研究，也可以辅助农业、林业、水资源管理等领域做出决策，对于遥感数据集的利用有重大意义。
[0003]传统的语义分割方法通常采用基于区域的方法，例如使用区域生长或者聚类算法将像素分成不同的区域。这些方法在一定程度上可以实现图像中物体的分割，但是不能准确地标记物体边界，而且对复杂场景的处理效果并不理想。近年来，深度学习方法已经成为语义分割领域中的主流方法。通过使用卷积神经网络(CNN)等深度学习模型，可以有效地提取图像特征，并进行精确的像素级别的分类。其中，全卷积网络(FCN)、编码器
‑
解码器网络(Encoder
‑
Decoder)、空洞卷积网络(Dilated ConvNet)和分割网络(SegNet)等模型被广泛应用于语义分割任务中。最近，ViTs将基于纯自注意力的Transformer引入了视觉领域，并在各种视觉任务上实现了新的SOTA性能，比如SegFormer。尽管取得了成功，但是有关全局注意的ViTs需要强大的计算资源，对于一些移动设备而言不友好。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种基于混合特征提取的遥感图像语义分割方法、装置和设备。
[0005]一种基于混合特征提取的遥感图像语义分割方法，所述方法包括：
[0006]将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络CoCs。
[0007]将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，得到语义增强特征。
[0008]将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
[0009]将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
[0010]将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
[0011]在其中一个实施例中，所述语义增强模块是由若干个Tranformer模块堆叠构成的。
[0012]在其中一个实施例中，所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
[0013]在其中一个实施例中，所述特征融合模块包括两个1
×
1卷积层和两个上采样模块。
[0014]将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征，包括：
[0015]将所述语义增强特征采用第一个所述1
×
1卷积层进行维度变化，将得到的特征采用第一个所述上采样模块进行上采样，得到中间语义增强特征。
[0016]将所述高分辨率增强特征采用第二个所述1
×
1卷积层进行维度变化，到中间高分辨率增强特征。
[0017]将第三阶段的输出特征采用第二个所述上采样模块进行上采样，得到上采用特征。
[0018]将所述中间语义增强特征、所述中间高分辨率增强特征以及所述上采用特征相乘，得到第一融合特征。
[0019]将所述第一融合特征、所述中间语义增强特征以及所述中间高分辨率增强特征相加融合，得到融合特征。
[0020]在其中一个实施例中，所述分割头包括两个卷积模块；所述卷积模块包括卷积层、批标准化处理层以及ReLu激活函数。
[0021]将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果，包括：
[0022]将所述融合特征输入到所述分割头的第一个所述卷积模块中，得到通道维度下降的特征。
[0023]将所述通道维度下降的特征输入到所述分割头的第二个所述卷积模块中，得到待分割遥感图像的语义分割结果。
[0024]在其中一个实施例中，上下文聚类网络CoCs包括四个阶段，每个阶段都包括第三下采样模块和若干个聚类块；
[0025]每个阶段的聚类块数量分布为3、4、5、2；每个阶段的通道维度分别为：32、64、196、320。
[0026]一种基于混合特征提取的遥感图像语义分割装置，所述装置包括：
[0027]多层特征提取模块，用于将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络CoCs。
[0028]语义特征和细节增强特征提取模块，用于将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征。
[0029]混合特征融合模块，用于将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征。
[0030]语义分割模块，用于将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。
[0031]在其中一个实施例中，所述语义特征和细节增强特征提取模块中所述语义增强模块是由若干个Tranformer模块堆叠构成的。
[0032]在其中一个实施例中，所述语义特征和细节增强特征提取模块中所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。
[0033]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0034]将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络CoCs。
[0035]将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，得到语义增强特征。
[0036]将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于混合特征提取的遥感图像语义分割方法，其特征在于，所述方法包括：将获取的待分割遥感图像输入到骨干网络中，得到各个阶段的输出特征；所述骨干网络为上下文聚类网络CoCs；将第四阶段的输出特征输入到语义特征增强提取模块中采用Tranformer模块对关键语义信息进行过滤提取，得到语义增强特征；将第二阶段的输出特征输入到增强特征提取模块中采用基于深度可分离卷积的倒置瓶颈模块进行提取，得到高分辨率增强特征；将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征；将所述融合特征输入到分割头中，得到待分割遥感图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述语义增强模块是由若干个Tranformer模块堆叠构成的。3.根据权利要求1所述的方法，其特征在于，所述特征增强模块是由若干个基于深度可分离卷积的倒置瓶颈模块堆叠构成的。4.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括两个1
×
1卷积层和两个上采样模块；将第三阶段的输出特征、所述语义增强特征和所述高分辨率增强特征输入到特征融合模块中进行特征融合，得到融合特征，包括：将所述语义增强特征采用第一个所述1
×
1卷积层进行维度变化，将得到的特征采用第一个所述上采样模块进行上采样，得到中间语义增强特征；将所述高分辨率增强特征采用第二个所述1
×
1卷积层进行维度变化，到中间高分辨率增强特征；将第三阶段的输出特征采用第二个所述上采样模块进行上采样，得到上采用特征；将所述中间语义增强特征、所述中间高分辨率增强特征以及所述上采用特征相乘，得到第一融合特征；将所述第一融合特征、所述中间语义增强特征以及所述中间高分辨率增强特征相加融合，得到融合特征。5.根据权利要求1所述的方法，其特征在于，所述分割头包括两个卷积模块；所述卷积模块包括卷积层...
【专利技术属性】
技术研发人员：王威，熊艺舟，王新，李骥，张文杰，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。