一种多源遥感图像融合语义分割方法及系统技术方案

本发明专利技术涉及一种多源遥感图像融合语义分割方法及系统。该方法包括通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。本发明专利技术能够提供多源遥感图像融合中的全局特征提取的准确性和数据利用率。用率。用率。

【技术实现步骤摘要】
一种多源遥感图像融合语义分割方法及系统


[0001]本专利技术涉及多源遥感图像处理领域，特别是涉及一种多源遥感图像融合语义分割方法及系统。

技术介绍

[0002]目前多源遥感图像的语义分割算法有FuseNet、SegNet
‑
RC等。FuseNet使用多支路编码器对多源遥感图像进行联合编码，几个编码器的输出结果在每个卷积块后相加。然后，一个解码器将编码后的联合表示重新采样回标签概率空间。然而，在这种架构中，分支数据被视为二手数据，即这几个分支并不是完全对称的。此外，在上采样过程中，只使用主分支的指标。因此，需要选择哪个数据源是主要数据源，哪个数据源是辅助数据，这在处理这多源的方式上存在一种概念上的不平衡。SegNet
‑
RC使用多个编码器对多源遥感信息分别进行编码，然后分别解码，并在解码之后进行不同支路的融合。该方法改善了语义标注的精度，但要求多源遥感图像属于非异构图像，模型应用存在一定的局限性，尤其源数据为光电与雷达图像时。
[0003]由于多源遥感图像往往具有异质性，现有的方法对于不均衡的数据源没本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源遥感图像融合语义分割方法，其特征在于，包括：通过编码网络对目标的多源遥感图像中不同模态的遥感数据分别进行下采样，同时利用通道网络对不同模态的遥感数据对应的分支网络进行通道交换，确定分支网络对应的多分辨率的特征图；不同模态的遥感数据包括：全色PAN、多光谱MS和合成孔径雷达SAR三种模态的遥感数据；分支网络包括：PAN分支网络、MS分支网络和SAR分支网络；对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图；利用解码网络对特征图进行解码，确定目标的分割结果；所述分割结果为分割掩膜。2.根据权利要求1所述的一种多源遥感图像融合语义分割方法，其特征在于，所述对分支网络对应的多分辨率的特征图进行通道拼接，并利用transformer编码器对拼接后的特征图进行长距离依赖项的建模，并输出特征图，具体包括：对拼接后的特征图的空间维度折叠为一维序列；利用公式z0＝f+PE生成特征嵌入；根据特征嵌入依次输入多个transformer层中，确定特征图，并将特征图的尺寸恢复成与多分辨率的特征图的相同的尺寸；所述transformer层包括：多头注意力MHA块和前馈网络FFN；其中，代表位置嵌入，为特征嵌入，f为一维序列。3.根据权利要求2所述的一种多源遥感图像融合语义分割方法，其特征在于，第l个transformer层具体包括：z
′
l
＝MHA(LN(z
l
‑1))+z
l
‑1；z
l
＝FFN(LN(z
′
l
))+z
′
l
；其中，LN(*)表示标准化层，z
l
为第l个transformer层的输出，z
l
‑1为第l
‑
1个transformer层的输出，z
′
l
为多头注意力MHA块输出。4.根据权利要求1所述的一种多源遥感图像融合语义分割方法，其特征在于，所述利用解码网络对特征图进行解码，确定目标的分割结果，具体包括：解码网络在上采样的过程中与PAN分支网络的各级输出的多分辨率的特征图进行像素级拼接，通过跳跃连接将编码网络中的多分辨率的特征图与transformer编码器输出的特征图进行融合，确定目标的分割结果。5.一种多源遥感...

【专利技术属性】
技术研发人员：刘瑜，谭大宁，徐从安，董凯，孙顺，丁自然，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：