一种无人机遥感图像语义分割方法及系统技术方案

本发明专利技术提出了一种无人机遥感图像语义分割方法及系统，采用不同的编码器

【技术实现步骤摘要】
一种无人机遥感图像语义分割方法及系统


[0001]本专利技术属于图像语义分割领域，尤其涉及一种无人机遥感图像语义分割方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]无人机遥感图像语义分割的目的是对无人机采集得到的遥感图像进行像素级内容解读，获得具有像素级语义类别标注的结果
。
遥感影像的语义分割在城市规划
、
智慧城市
、
医疗卫生
、
地理信息系统建设等方面有广泛的应用
。
由于语义分割任务相对来说较为复杂，卷积神经网络的快速发展则为其提供了技术支持，特别是全卷积网络在其中发挥了重要作用
。
其中，被计算机视觉领域广泛应用的编码器
‑
解码器结构同样也在分割任务上表现出了优异性能，并逐渐成为语义分割神经网络中流行的基线架构
。
在此结构中，编码器用于提取出通用语义特征，而解码器用于融合高层次语义和低层次空间信息，并尽可能将高层的低分辨率尺寸精细地恢复为输入图像的大尺寸
。
然而，由于遥感图像中地面物体的特殊性即规模小
、
相似度高
、
可能存在相互遮挡等会给遥感图像的语义分割带来了新的挑战
。
很多基于卷积神经网络的模型在特征提取过程中进行特征降采样以减少计算量，这很容易导致小尺度特征被丢弃
。
此外如上面所述，具有不同语义类别的地面物体可能具有相似的尺寸
、
材料和光谱特征，难以区分，遮挡问题也通常会导致语义的模糊性
。
因此，更多的全局信息和精细的空间特征被要求作为语义推理的线索
。
最近，
Transformer
的成功为全局关系的建模开辟了新的研究思路
。
[0004]遥感图像的语义分割的难点大致分为三类：
(1)
不同类别相似形状，鸟瞰视角某种程度可以算作二维视角，这会导致很多三维视角差别很大的物体在俯视视角展现出极为相似的特征；
(2)
不同类别相似材质，对于需要依靠材质区分的类别
(
建筑
、
不透水层
、
草地等
)
，不同类别之间材质的穿插对于正确检测类别是极为不利的；
(3)
不同高度相互遮挡，由于观测视角的原因，虽然俯瞰视角已经可以最大程度避免物体的相互遮挡，但类似情况仍然存在
。
因此，如何提高无人机遥感图像语义分割的准确性是目前本领域技术人员需要解决的技术问题
。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种无人机遥感图像语义分割方法及系统，采用不同的编码器
CNN
编码器和
Transformer
编码器对无人机遥感图像进行特征提取，通过图嵌入损失函数监督引导不同编码器所提取特征的融合过程，能够确保自适应地将两个不同编码器对所预测更为重要的信息融合起来，提高后续无人机遥感图像语义分割的准确性
。
[0006]为实现上述目的，本专利技术的第一个方面提供：一种无人机遥感图像语义分割方法，
包括：
[0007]步骤1：获取无人机遥感图像，利用
CNN
编码器和
Transformer
编码器特征提取阶段分别对所获取的无人机遥感图像进行特征提取，得到第一特征图和第二特征图；
[0008]步骤2：将第一特征图和第二特征图构建图结构，获取图结构的邻接矩阵，根据所述邻接矩阵构建图嵌入损失函数；
[0009]步骤3：利用图嵌入损失函数引导对应的第一特征图和第二特征图的特征融合，得到融合特征，并将所得到的融合特征输入至
CNN
编码器下一特征提取阶段；
[0010]步骤4：重复步骤2‑
步骤3，直至
CNN
编码器最后特征提取阶段输出最终的融合特征，将
CNN
编码器特征提取阶段所输出的融合特征基于解码器得到无人机遥感图像语义分割结果
。
[0011]本专利技术的第二个方面提供一种无人机遥感图像语义分割系统，包括：
[0012]获取模块：获取无人机遥感图像，利用
CNN
编码器和
Transformer
编码器特征提取阶段分别对所获取的无人机遥感图像进行特征提取，得到第一特征图和第二特征图；
[0013]图构建模块：将第一特征图和第二特征图构建图结构，获取图结构的邻接矩阵，根据所述邻接矩阵构建图嵌入损失函数；
[0014]融合模块：利用图嵌入损失函数引导对应的第一特征图和第二特征图的特征融合，得到融合特征，并将所得到的融合特征输入至
CNN
编码器下一特征提取阶段；
[0015]语义分割模块：将
CNN
编码器特征提取阶段所输出的融合特征基于解码器得到无人机遥感图像语义分割结果
。
[0016]本专利技术的第三个方面提供一种计算机设备，包括：处理器
、
存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种无人机遥感图像语义分割方法
。
[0017]本专利技术的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种无人机遥感图像语义分割方法
。
[0018]以上一个或多个技术方案存在以下有益效果：
[0019]在本专利技术中，采用不同的编码器
CNN
编码器和
Transformer
编码器对无人机遥感图像进行特征提取，充分利用了
CNN
编码器和
Transformer
编码器在特征图提取上两者的优点，对于不同编码器所提取的特征图同构构建图结构，引入图嵌入损失函数，通过图嵌入损失函数监督引导不同编码器所提取特征的融合过程，能够确保自适应地将两个不同编码器对所预测更为重要的信息融合起来，基于融合后的特征用于无人机遥感图像的语义分割，对于遥感图像上密集和小规模的物体上分割效果也良好，提高无人机遥感图像语义分割的准确性
。
[0020]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到
。
附图说明
[0021]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示
意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定
。
[0022]图1为本专利技术实施例一中双编码器语义分割网络结构示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人机遥感图像语义分割方法，其特征在于，包括：步骤1：获取无人机遥感图像，利用
CNN
编码器和
Transformer
编码器特征提取阶段分别对所获取的无人机遥感图像进行特征提取，得到第一特征图和第二特征图；步骤2：将第一特征图和第二特征图构建图结构，获取图结构的邻接矩阵，根据所述邻接矩阵构建图嵌入损失函数；步骤3：利用图嵌入损失函数引导对应的第一特征图和第二特征图的特征融合，得到融合特征，并将所得到的融合特征输入至
CNN
编码器下一特征提取阶段；步骤4：重复步骤2‑
步骤3，直至
CNN
编码器最后特征提取阶段输出最终的融合特征，将
CNN
编码器特征提取阶段所输出的融合特征基于解码器得到无人机遥感图像语义分割结果
。2.
如权利要求1所述的一种无人机遥感图像语义分割方法，其特征在于，在所述步骤2中，具体包括：根据第一特征图像素之间的权重，构建第一特征图的权重矩阵；根据第二特征图像素之间的权重，构建第二特征图的权重矩阵；基于
k
‑
邻近策略根据第一特征图的权重矩阵和第二特征图的权重矩阵，得到图结构的邻接矩阵；根据邻接矩阵结合
t
分布式随机邻居嵌入和拉普拉斯嵌入，构建图嵌入损失函数
。3.
如权利要求2所述的一种无人机遥感图像语义分割方法，其特征在于，采用欧式距离计算第一特征图或第二特征图像素之间的权重
。4.
如权利要求1所述的一种无人机遥感图像语义分割方法，其特征在于，在所述步骤3中，具体为：将对应尺度的第一特征图和第二特征图进行级联拼接操作；将级联拼接后的特征经过卷积层得到融合特征
。5.
如权利要求1所述的一种无人机遥感图像语义分割方法，其特征在于，在所述步骤4中，将
CNN
编码器每个特征提取阶段输出的融合特征基于解码器得到无人机遥感图像语义分割结果，具体为：基于
U
‑
NET
形式，利用跳跃连接串联
CNN
...

【专利技术属性】
技术研发人员：丛润民，张伟，宋然，仇梓峰，陈宇，李晓磊，陈韬亦，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：