一种基于光学和PolSAR特征融合的语义分割网络制造技术

本发明专利技术属于遥感图像智能应用技术领域，设计了一种基于光学和PolSAR特征融合的语义分割网络，用来实现端到端的光学和PolSAR融合地物分割任务。由双路孪生卷积特征编码器、注意力机制模块ASCAM和对称跳跃连接解码器组成。其中双路孪生卷积特征编码器采用ImageNet和大量的标注后PolSAR和光图像分别对每一路编码器进行预训练。然后设计ASCAM，通过扩张空间矩阵获取局部位置的光和PolSAR各通道对分类任务的非线性影响关系，将扩张空间矩阵与双路孪生卷积特征编码器的数据进行结合，实现了注意力对特征融合过程的加权引导。最后通过卷积实现加权后特征的融合，并设计了对称跳跃连接解码器，将融合特征与光学和PolSAR中编码过程特征进行跳跃连接，最终实现了端到端的地物分割。割。割。

【技术实现步骤摘要】
一种基于光学和PolSAR特征融合的语义分割网络


[0001]本专利技术属于遥感图像智能应用
，更为具体地讲，涉及通过采用对光学遥感影像和PolSAR遥感影像进行融合完成地物类别自动语义分割。

技术介绍

[0002]基于遥感影像的土地覆盖物分割分类由于其规模和材料的多样性而成为一个挑战性的问题。当前很多遥感影像地物分割任务主要通过单一载荷数据，比如：很多研究采用可见光遥感影像进行地物分割，但是由于光谱信息单一并且云层遮盖等情况效果不佳。其他一些研究采用PolSAR影像进行地物分割，但是由于其影像质量较差并且噪声较大同样导致分类效果不佳。许多地区类型例如城市区域的复杂性使得需要采用多源遥感数据获取土地覆盖特性。随着遥感技术的飞速发展，有较大可能性获取同一地区的多种遥感数据，这使得通过对多源遥感数据进行融合来提升地物分割任务的精度提供了可能性。PolSAR图像与光学图像特征在几何和辐射特性上都有很大差异。可以通过将高空间分辨率的光学和PolSAR图像进行融合，通过补充信息来提高土地覆盖分类的准确性。值得一提的是，极化PolSAR图像包含的信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光学和PolSAR特征融合的语义分割网络，其特征在于，包括双路孪生卷积特征编码器、注意力机制模块ASCAM以及对称跳跃连接解码器；双路孪生卷积特征编码器用于采用两路不共享参数的全卷积网络分别对光学和PolSAR影像进行独立特征提取，并将不同来源图像映射到相同维度的特征空间；注意力机制模块ASCAM用于获取并利用光学和PolSAR影像不同局部位置处的通道间关系，优化双路孪生卷积特征编码器提取的特征；对称跳跃连接解码器用于采用两层卷积操作对ASCAM输出的特征进行融合处理，并采用多个对称跳跃连接块，将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR和光学图像的编码过程特征进行拼接，得到最后的语义分割结果。2.根据权利要求1所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，双路孪生卷积特征编码器中每一路编码器包括一系列卷积层，每一层配备一个非线性线性单元作为激活函数。3.根据权利要求2所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，双路孪生卷积特征编码器的预训练过程中，将每一路编码器分别与反卷积层连接，形成两个独立的Unet网络结构，即PolSAR Unet网络和光学Unet网络；首先利用Imagenet数据集对光学Unet网络和PolSAR Unet网络的参数进行初步训练，使网络获得基本的图像语义提取能力；然后，在初步训练的光学Unet网络参数的基础上，利用光学遥感图像进行进一步的迁移训练，使光学Unet网络获得适合光学遥感影像的特征提取能力，并在初步训练的PolSAR Unet网络参数的基础上，利用PolSAR遥感图像进行进一步的迁移训练，使PolSAR Unet网络获得适合PolSAR遥感影像的特征提取能力。4.根据权利要求1所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，注意力机制模块ASCAM包括局部嵌入信息压缩模块、局部空间通道关系提取模块和特征通道选择模块；局部嵌入信息压缩模块用于将PolSAR特征X和光学特征Y进行拼接，形成特征U，并进行局部嵌入信息压缩，公式如下所示：...

【专利技术属性】
技术研发人员：楚博策，裴新宇，陈金勇，陈杰，高峰，杨威，王士成，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：