基于尺度分离的海洋遥感图像语义分割方法及系统技术方案

本发明专利技术属于图像处理技术领域，公开了基于尺度分离的海洋遥感图像语义分割方法及系统，所述系统包括输入模块、多流图像切块序列化模块、尺度分离的语义聚类模块、两阶段多流语义解耦的Transformer模块、和多视角特征融合解码模块，通过尺度分离的语义聚类模块将基于尺度分离的特征信息通过聚类方法将像素划分为不同语义簇，两阶段多流语义解耦的Transformer模块通过计算尺度信息丰富的语义特征与原始图像特征之间的相似度来挖掘尺度语义信息丰富的注意力特征，最后通过多视角特征融合模块，从不同视角将特征融合获得语义分割结果。割结果。割结果。

【技术实现步骤摘要】
基于尺度分离的海洋遥感图像语义分割方法及系统


[0001]本专利技术属于图像处理
，特别涉及基于尺度分离的海洋遥感图像语义分割方法及系统。

技术介绍

[0002]海洋遥感技术在灾害预报、资源探测和海洋保护等方面具有重要意义，其中语义分割作为解析海洋遥感图像的核心技术在计算机视觉领域具有重要地位。语义分割的目标是对输入图像进行逐像素预测实现区域分割，进而识别该类别的语义信息为分割结果叠加高层语义，其主要包括两个重要步骤：其一，对输入图像通过模型挖掘提取特征（编码区）；其二，基于提取到的特征逐像素预测类别进行分割（解码区）。现有的语义分割方法主要基于FCN、多尺度、图卷积等技术进行特征挖掘，或者利用Transformer将遥感图像切割成小图像块以减小计算量，同时通过注意力机制捕捉上下文信息，建立目标对象之间的关系。以目前业界公认的性能最优（State of the art）的基于Transformer语义分割模型Segmenter为例， Segmenter提出了一种只使用Transformer的语义分割方法来进行上下文建模，该方法的优势在于利用了模型每一层的全局图像上下文，可以捕捉场景元素之间的全局交互；并在解码部分利用了预定义的类嵌入通过掩码Transformer获取类标签，可以捕获语义信息，提高了特征之间的全局依赖性。
[0003]然而，这些现有方法存在以下问题：第一、无法在特征耦合的Transformer模型上解决类内差异大、类间差异小的问题。海洋遥感图像中的目标对象特征语义耦合问题，导致类内差异大，类间差异小。这主要体现在两个方面：一是类内差异大，如浮冰和锚冰的形成过程受温度、水密度等因素影响，导致类内差异大相似度低；二是类间差异小，如
ꢀ“
货船”与“客船”属于两个不同的语义类别，但外观（形状、结构、颜色、大小等）的高度相似，导致类间差异小。现有的语义分割方法如基于FCN的方法虽然可以实现像素级预测，但由于感受野局限性，无法实现鲁棒性类内建模；而Segmenter能够通过将整张图像切割成小图像块来减小模型计算量，利用了预定义的类标签嵌入可以捕获语义信息，并进行全局上下文建模，但是这种分割的方式没有将图像中的语义信息考虑进去，只添加了额外的语义信息，难以充分利用图像原始语义特征来挖掘类间的差异性。
[0004]第二、无法在尺度纠缠的特征空间上精准描述目标对象，海洋遥感图像内的语义信息尺度严重纠缠，如船舶与岛屿的尺度差异（两个语义：船舶和岛屿，正常情况下岛屿的面积远远大于船舶，即小船舶、大岛屿，若出现船舶远远大于岛屿的情况，模型就无法对这两种语义进行精准描述）。现有的分割方法对输入原始图像进行分尺度特征挖掘生成特征表示，但对于具有多尺度物体变化的语义密集遥感图像来说，这些特征表示（同一语义的大尺度、中尺度、小尺度）的特征空间是尺度纠缠的，导致模型对语义的理解混乱。若仍采用原来的方法不进行尺度分离的话，这些同一语义的多个尺度的多个目标会被看做是同一个物体进行建模，无法精准描述目标对象。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提供基于尺度分离的海洋遥感图像语义分割方法及系统，提出两阶段多流语义解耦的Transformer模块，通过计算尺度信息丰富的语义特征与原始图像特征之间的相似度来挖掘尺度语义信息丰富的注意力特征；提出尺度分离的语义聚类模块，基于尺度分离的特征信息通过聚类方法将像素划分为不同语义簇；提出多视角特征融合模块，从不同视角将注意力特征、多尺度特征以及多语义特征进行融合。
[0006]为了解决上述技术问题，本专利技术采用的技术方案是：首先，本专利技术提供一种基于尺度分离的海洋遥感图像语义分割方法，包括以下步骤：S1、输入原始海洋遥感图像；S2、尺度分离的语义聚类：通过不同尺度的分离卷积提取网络提取不同尺度的特征，利用尺度信息通过聚类方法将像素划分为不同语义簇，提取不同尺度的语义特征，具体如下：S21、尺度分离：尺度分离是通过空洞卷积分为大中小三个尺度，得到三个尺度特征，其中H表示高度、W表示宽度、C表示通道数，，即表示小尺度特征、表示中尺度特征、表示大尺度特征，三个尺度特征合并生成总尺度特征；S22、语义聚类：语义聚类是从原始海洋遥感图像中通过聚类算法生成大中小三个尺度的总语义特征，其中每个尺度的语义特征有c个，第个尺度上的c个语义特征表示为，其中表示第个尺度上的第1个语义特征，表示第个尺度上的第c个语义特征，将每个语义在各个尺度上的语义特征合并，得到c个合并特征，表示为，其中表示第一个语义在小中大三个尺度上的合并语义特征，表示第c个语义在小中大三个尺度上的合并语义特征；S3、多流语义解耦：通过对原始海洋遥感图像进行不同尺度的切块操作进行尺度分离，利用多尺度语义信息指导Transformer进行语义解耦，具体如下：S31、多尺度特征挖掘：将原始海洋遥感图像进行不同尺度大小的切块，生成大中小三种尺度的线性映射嵌入序列，包括小尺度的线性映射嵌入序列，中尺度的线性映射嵌入序列，大尺度的线性映射嵌入序列，用于全局上下文表征建模；S32、两阶段多流语义解耦：通过计算语义特征与图像特征之间的相似度来挖掘类内特征相互依赖性，并降低类间特征的关联，得到总注意力特征，具体包括两个阶段：第一阶段是将大中小三种尺度的线性映射嵌入序列输入到传统Transformer模块得到大中小三种尺度的特征，并将大中小三个尺度的特征进行合并得到，用于提取图像的深
层表征信息；第二阶段是将线性映射嵌入序列与步骤S22从原始海洋遥感图像中得到的尺度分离的c个语义特征输入到多流语义解耦的Transformer模块，进行相似度计算，得到尺度语义信息丰富的注意力特征，之后将每个语义在各个尺度上的注意力特征合并，得到c个合并特征，表示为，用于显著性挖掘不同尺度特征上的语义信息，其中表示第1个语义在第个尺度上的注意力特征，表示第c个语义在第个尺度上的注意力特征；步骤S4、多视角特征融合解码：将步骤S3输出的总注意力特征、步骤S21输出的总尺度特征、步骤S22输出的总语义特征融合，输出总特征。
[0007]进一步的，步骤S21中，首先将原始图像X通过DCNN后经过不同空洞卷积率的卷积层得到三个尺度特征，将三个尺度特征进行合并可以得到总尺度特征，计算过程如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；其中原始图像X大小为H
×
W
×
C，H表示高度、W表示宽度、C表示通道数，Atrous表示空洞卷积操作，空洞卷积率为（1，6，12）。
[0008]进一步的，步骤S22中，语义聚类是基于尺度特征，在每个尺度上的原始图像通过聚类的方法将像素划分为不同语义簇，输出第个尺度上的c个语义，之后将每个语义在各个尺度上的语义特征合并，得到c个合并特征，表示为，计算过程如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ...

【技术保护点】

【技术特征摘要】
1.基于尺度分离的海洋遥感图像语义分割方法，其特征在于，包括以下步骤：S1、输入原始海洋遥感图像；S2、尺度分离的语义聚类：通过不同尺度的分离卷积提取网络提取不同尺度的特征，利用尺度信息通过聚类方法将像素划分为不同语义簇，提取不同尺度的语义特征，具体如下：S21、尺度分离：尺度分离是通过空洞卷积分为大中小三个尺度，得到三个尺度特征，其中H表示高度、W表示宽度、C表示通道数，，即表示小尺度特征、表示中尺度特征、表示大尺度特征，三个尺度特征合并生成总尺度特征；S22、语义聚类：语义聚类是从原始海洋遥感图像中通过聚类算法生成大中小三个尺度的总语义特征，其中每个尺度的语义特征有c个，第个尺度上的c个语义特征表示为，其中表示第个尺度上的第1个语义特征，表示第个尺度上的第c个语义特征，将每个语义在各个尺度上的语义特征合并，得到c个合并特征，表示为，其中表示第一个语义在小中大三个尺度上的合并语义特征，表示第c个语义在小中大三个尺度上的合并语义特征；S3、多流语义解耦：通过对原始海洋遥感图像进行不同尺度的切块操作进行尺度分离，利用多尺度语义信息指导Transformer进行语义解耦，具体如下：S31、多尺度特征挖掘：将原始海洋遥感图像进行不同尺度大小的切块，生成大中小三种尺度的线性映射嵌入序列，包括小尺度的线性映射嵌入序列，中尺度的线性映射嵌入序列，大尺度的线性映射嵌入序列，用于全局上下文表征建模；S32、两阶段多流语义解耦：通过计算语义特征与图像特征之间的相似度来挖掘类内特征相互依赖性，并降低类间特征的关联，得到总注意力特征，具体包括两个阶段：第一阶段是将大中小三种尺度的线性映射嵌入序列输入到传统Transformer模块得到大中小三种尺度的特征，并将大中小三个尺度的特征进行合并得到，用于提取图像的深层表征信息；第二阶段是将线性映射嵌入序列与步骤S22从原始海洋遥感图像中得到的尺度分离的c个语义特征输入到多流语义解耦的Transformer模块，进行相似度计算，得到尺度语义信息丰富的注意力特征，之后将每个语义在各个尺度上的注意力特征合并，得到c个合并特征，表示为，用于显著性挖掘不同尺度特征上的语义信息，其中表示第1个语义在第个尺度上的注意力特征，表示第c个语义
在第个尺度上的注意力特征；步骤S4、多视角特征融合解码：将步骤S3输出的总注意力特征、步骤S21输出的总尺度特征、步骤S22输出的总语义特征融合，输出总特征。2.根据权利要求1所述的基于尺度分离的海洋遥感图像语义分割方法，其特征在于，步骤S21中，首先将原始图像X通过DCNN后经过不同空洞卷积率的卷积层得到三个尺度特征，将三个尺度特征进行合并可以得到总尺度特征，计算过程如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；其中原始图像X大小为H
×
W
×
C，H表示高度、W表示宽度、C表示通道数，Atrous表示空洞卷积操作，空洞卷积率为（1，6，12）。3.根据权利要求1所述的基于尺度分离的海洋遥感图像语义分割方法，其特征在于，步骤S22中，语义聚类是基于尺度特征，在每个尺度上的原始图像通过聚类的方法将像素划分为不同语义簇，输出第个尺度上的c个语义，之后将每个语义在各个尺度上的语义特征合并，得到c个合并特征，表示为，计算过程如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)；其中Cluter表示k均值聚类；、、分别表示第一个语义在小、中、大尺度上的语义特征，表示第一个语义在小中大三个尺度上的合并语义特征，以此类推，、、分别表示第c个语义在小、中、大尺度上的语义特征，表示第c个语义在小中大三个尺度上的合并语义特征；表示融合了各尺度最终的总语义特征。4.根据权利要求1所述的基于尺度分离的海洋遥感图像语义分割方法，其特征在于，步骤S32中，第一阶段所述的传统Transformer模块包括多头注意力模块MSA以及多层感知机MLP，多头注意力模块MSA和多层感知机MLP每个块之前均应用层归...

【专利技术属性】
技术研发人员：聂婕，姜彦如，郑程予，王昭鑫，江毅，梁馨月，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：