【技术实现步骤摘要】
多尺度融合遥感图像语义分割方法及系统
[0001]本专利技术属于图像处理
，涉及注意力机制耦合边缘监督的多尺度遥感图像语义分割方法，特别涉及多尺度融合遥感图像语义分割方法及系统。
技术介绍
[0002]语义分割是对图像中的所有像素进行分类，划分出每个像素所属的物体类别，使图像的每个区域具有语义特征。遥感图像语义分割是利用深度学习等图像处理技术对图像的每个像素进行分类，识别出图像中的河流、房屋等类别。遥感图像语义分割技术已被应用于城市规划、自然灾害监测和土地资源管理等图像内容分析和理解的众多应用领域。
[0003]前沿处理分割任务方法在神经网络的基础上或是考虑了多尺度的影响，或是引入了注意力机制，其优势在于学习了不同尺度图像的类别信息，丰富了困难样本的特征，提升图像语义分割的准确率。但是，这些方法存在以下问题：
[0004]第一，没有实现全局信息和局部信息的平衡。现有的多尺度分割方法多是应用在自然图像上，没有考虑遥感图像信息密集、覆盖范围大的特点，不仅导致模型对遥感图像的全局轮廓学习不充分，也容易导致模型...
【技术保护点】
【技术特征摘要】
1.多尺度融合遥感图像语义分割方法，其特征在于，包括以下步骤：步骤1、构建用于遥感图像语义分割的多尺度遥感图像生成网络，所述的多尺度遥感图像生成网络包括三层语义分割模型和一个多尺度分辨率图像融合模块，每层语义分割模型采用编解码结构的卷积神经网络，包括多注意力模块、边缘监督模块；步骤2、将原始图像做不同分辨率的处理并分别输入三层语义分割模型，其中第一层的输入为原始图像上采样一次、第二层的输入为原始图像、第三层的输入为原始图像下采样一次；步骤3、三层语义分割模型分别处理不同分辨率的输入图像，提取全局和局部语义特征，同时提取边缘特征信息，输出不同分辨率的图像，经所述多尺度分辨率图像融合模块将三层分割模型的输出图像重采样到第二层输出图像的大小，融合三层语义分割模型输出图像，输出最终分割图像。2.根据权利要求1所述的多尺度融合遥感图像语义分割方法，其特征在于，第二层语义分割模型采用SegNet结构，在SegNet的编码器和解码器分别增加一层卷积作为第一层语义分割模型，在SegNet的编码器和解码器分别减少一层卷积作为第三层语义分割模型。3.根据权利要求1所述的多尺度融合遥感图像语义分割方法，其特征在于，所述多注意力模块用于捕捉空间维度H
×
W和通道维度C之间的跨维度交互作用，输出相同尺度的图像，多注意力模块包括两个分支，在第一个分支中，将通道维度C转置为高度维度H，即将形状C
×
H
×
W转换为H
×
C
×
W，然后，对张量的高度维度H进行Z
‑
Pool变换，实现特征压缩，将压缩后的特征权值与通道维度C和宽度维度W的信息融合，然后与卷积核进行卷积运算，得到形状为1
×
C
×
W的张量，经过归一化和sigmoid激活后，特征的形状保持不变；激活的特征与原始特征逐点相乘，然后排列回到原始形状C
×
H
×
W；第二个分支中，将通道维度C置换为宽度维度W，后续操作与第一分支相同；最后融合两个分支的特征，生成融合图像。4.根据权利要求3所述的多尺度融合遥感图像语义分割方法，其特征在于，多注意力模块的两个分支融合时，每个分支计算每个像素的跨纬度注意权值ω，公式如下；其中id表示特征向量的第i维，X为多注意力模块MM的输入向量，Perm表示特征向量的置换操作，CNA表示输入特征的卷积和归一化，然后由sigmoid函数激活；由此，多注意力模块融合不同维度的交互信息，分别是通道维和高度维、通道维和宽度维，得到精细张量y，公式如下:其中ω1和ω2是多重注意计算得到的两个跨维注意权值，X1是第一个分支的输入向量、X2是第二个分支的输入向量，y1和y2表示由多注意力模块的两个分支得到的精细特征向量。5.根据权利要求1所述的多尺度融合遥感图像语义分割方法，其特征在于，所述边缘监督模块只用于解码器中的前三层输出，而不考虑解码器中最深层的边缘信息，三层语义分割模型的每一层中，每个编码器阶段的前三层浅层神经网络的输出都添加边缘监督模块，边缘监督模块将边缘信息融合到神经网络的输出图像中；每个边缘监督模块包括三个分支，分别提取SegNet前三层的特征，提取的三层特征为大小相同的特征图，输
出特征S为三个分支提取的特征串接而成；对于特征S，经过卷积得到特征映射P，接下来，使用Sobel算子计算标签图像的边缘信息t
e
；然后，利用边缘信息t
e
作为新的标签来训练边缘的损失，损失函数表示如下:L<...
【专利技术属性】
技术研发人员：聂婕，王成龙，赵恩源，宋宁，赵紫安，王成贺，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。