一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法技术

一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，步骤：1)面向海量海水养殖无标签遥感监测数据，建立整景多目标海水养殖目标提取框架，包括输入嵌入模块、transformer编码器、多特征融合模块及高层语义增强模块；2)基于自监督学习中知识蒸馏的自蒸馏学习，结合全局对比学习损失和局部图像掩膜损失，训练编码器；3)提出语义增强特征融合解码器，进行深层语义增强，并有效涵盖浅层形状特征和深层语义特征。本发明专利技术能够实现整景多目标海水养殖精确提取，缓解有监督学习方法过度依赖标签问题，样本数据不平衡问题，多目标之间类内差异大、类间差异小而导致的误判问题，增强对于合成孔径雷达影像中相干斑噪声的抗干扰能力，提高海水养殖多目标提取精度。提高海水养殖多目标提取精度。提高海水养殖多目标提取精度。

【技术实现步骤摘要】
一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法


[0001]本专利技术属于海洋遥感与人工智能交叉
，提供一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法。

技术介绍

[0002]海水养殖是指在海洋或其他咸水环境中养殖鱼类、贝类和海藻等海洋生物。作为满足对海产品日益增长的需求、减轻野生鱼类种群压力和促进可持续粮食安全的一种方式，越来越受到广泛关注。海水养殖虽然带来了巨大的经济效益，但也导致了海洋生态环境的污染，监测海水养殖活动对海洋资源的宏观管理至关重要。合成孔径雷达(Synthetic Aperture Radar,SAR)影像由于其全天时、全天候成像等优势，已成为海水养殖监测的重要手段。在海面上，海水养殖的网箱和浮筏的散射特性与海水不同，从SAR影像中提取海水养殖信息有利于估计面积和产量。
[0003]现有的海水养殖提取方法多针对于仅包含养殖目标和海水背景的裁剪后影像，如文献[王心哲,邓棋文,王际朝,等.深度语义分割MRF模型的海洋筏式养殖信息提取[J].山东大学学报(工学版),2022,52(2):89
‑
98]并未考虑整景分割，而海水养殖广泛分布于大陆近岸或岛屿周边，采用整景卫星遥感影像监测时，易受到陆地岛屿干扰和类间数据不平衡影响。此外，海洋目标随海况变化会发生漂移和变形，自身成像特征也随之改变，导致真值标签样本无法泛化到其他影像中，专利[汪承义,郭艳君,陈建胜,等.基于全景分割的光学遥感影像海洋筏式养殖区分类方法[P].北京:CN115908894A,2023
‑
04
‑
04]提取全景海水养殖基于有监督方法，需要大量训练数据样本。针对上述问题，提出了一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，在少量标签情况下，克服整景遥感影像中多目标之间相互干扰、类间数据不平衡的技术难点，实现少量标签样本下的整景多目标海水养殖精确提取。

技术实现思路

[0004]本专利技术主要解决如何通过自监督学习从大量无标签数据中获得显著特征，缓解类内差距大，类间差距小而导致的误判问题，并基于少量标签样本精确提取海水养殖，提出了一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，采用transformer模型作为编码器，通过自蒸馏训练，获得显著特征，并应用于语义增强特征融合解码器，在少量标签微调下，得到自监督transformer高精度海水养殖提取结果。
[0005]为了达到上述技术目测，本专利技术采用的技术方案为：
[0006]一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，包括以下几个步骤：
[0007]第一步，收集大量海水养殖无标签遥感监测数据，切片成512
×
512大小的图片，海水养殖transformer编码器采用自蒸馏训练发掘显著特征，并获得长时间依赖特征，有效处
理海水养殖遥感监测中，整景遥感影像海水面积占比较大而导致样本不平衡现象，减少信息的丢失。海水养殖transformer编码器分为输入嵌入和编码模块，具体如下：
[0008]1.1)所述的输入嵌入是将图片编码成一维向量的过程，每张二维图像首先分割成n个更小的图像块，通过卷积核尺寸与图像块大小相同的卷积操作，将n个图像块嵌入为n个值，并排列成一维向量，为了防止信息丢失，在转变成一维向量的同时进行了特征升维。此外，为了防止嵌入过程中位置信息的丢失，引入了位置嵌入，公式如式(1)和式(2)所示。
[0009][0010][0011]其中，pos表示图像块在图像中的位置，i表示图像块的维度索引值，d
model
表示图像块的总维度。位置嵌入被添加到输入嵌入中以捕获输入序列中的位置信息。此外，输入嵌入是将图像划分为图像块并将其扁平化的操作。
[0012]1.2)所述的编码模块由N个子模块组成，每个子模块的核心是多头注意模块。在多头注意模块中，它是多种自注意力机制的组合，如公式(3)所示。将步骤1.1)中已转为一维向量的输入向量X输入编码模块，输入向量X首先被转换为三个不同的向量，即查询向量Q、关键向量K和数值向量V，公式如式(3)所示。
[0013][0014]其中，W
q
，W
k
，W
v
分别为优化参数。QK
T
获得注意力权重。d
k
是K的维度，以保证Softmax的梯度稳定性。V得到加权和，同时与输入保持一致。多头注意模块允许模型关注来自多个子空间的不同方面的信息，通过N个多头注意模块串联，构建transformer编码器。共构建N个子模块组成transformer编码器。
[0015]第二步，引入全局对比学习损失和局部图像掩膜损失作为代理任务，进行自蒸馏训练，既关注海水养殖、陆地及海水不同目标间的全局目标差异，以便后续多目标区分，也关注每个目标局部细节信息，以便后续多目标精准分割。
[0016]首先构建两个结构相同的transformer编码器，如第一步所述，其中一个称为教师网络另一个称为学生网络通过视图变化和随机掩膜，结合全局对比学习损失和局部图像掩膜损失训练优化学生网络，禁止反向传播优化教师网络，然而，由于教师网络和学生网络的网络结构一致，所以教师网络的参数更新是根据学生网络的参数动态更新的，详情见2.3)节。
[0017]2.1)全局对比损失是基于对比学习，使不同视图下的同一张图片相似特征最大化。
[0018]将第一步中收集的512
×
512大小的图片作为输入图像x，然后进行随机图像增强，获得两个不同视图u和v，将u和v均输入教师网络和学生网络，输入嵌入之后，再次对嵌入后
图像进行随机掩膜(即将1.1节中得到的n个值随机抽取部分并将其强制归零)，得到两个视图的掩膜嵌入(学生网络输入嵌入得到的结果)和未掩膜嵌入u
c
,v
c
(教师网络输入嵌入得到的结果)，从教师网络和学生网络得到的结果分别输入softmax函数，公式如式(4)和式(5)所示。
[0019][0020]其中，i和k是K维度上的网络输出概率分布。C是中心值，即通过教师网络输出的批次计算的平均值，以避免塌陷。τ
t
表示教师网络的一个温度参数。
[0021][0022]其中，i和k是K维度上的网络输出概率分布。τ
s
表示学生网络的温度参数。
[0023]学生网络的输入是不同的掩膜视图和这两个网络有相同的结构，但参数不同。在梯度停止的教师网络参数下，全局对比学习损失被用来期望教师和学生网络的输出相匹配，如公式(6)所示，以优化学生网络参数。
[0024][0025]其中，L
CLS
是对比学习损失函数。具体来说，t
c1
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，其特征在于，包括以下几个步骤：第一步，收集大量海水养殖无标签遥感监测数据，切片成多张二维图片，海水养殖transformer编码器采用自蒸馏训练发掘显著特征，并获得长时间依赖特征；第二步，基于自监督学习中知识蒸馏的自蒸馏学习，结合全局对比学习损失和局部图像掩膜损失，训练海水养殖transformer编码器；第三步，引入语义增强特征融合模块，增强深层语义信息，保留浅层形状信息，包括深度语义增强模块和多层特征融合模块；通过少量标签样本微调语义增强特征融合解码器，将训练好的解码器权重参数固定，测试得到整景多目标的SAR影像海水养殖精确提取结果。2.根据权利要求1所述的一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，其特征在于，所述第一步中海水养殖transformer编码器分为输入嵌入和编码模块，具体如下：1.1)所述的输入嵌入是将图片编码成一维向量的过程，每张二维图像首先分割成n个更小的图像块，通过卷积核尺寸与图像块大小相同的卷积操作，将n个图像块嵌入为n个值，并排列成一维向量，为了防止信息丢失，在转变成一维向量的同时进行特征升维；此外，为了防止嵌入过程中位置信息的丢失，引入位置嵌入，公式如式(1)和式(2)所示；了防止嵌入过程中位置信息的丢失，引入位置嵌入，公式如式(1)和式(2)所示；其中，pos表示图像块在图像中的位置，i表示图像块的维度索引值，d
model
表示图像块的总维度；位置嵌入被添加到输入嵌入中以捕获输入序列中的位置信息；此外，输入嵌入是将图像划分为图像块并将其扁平化的操作；1.2)所述的编码模块由N个子模块组成，每个子模块的核心是多头注意模块；将步骤1.1)中已转为一维向量的输入向量X输入编码模块，输入向量X首先被转换为三个不同的向量，即查询向量Q、关键向量K和数值向量V，公式如式(3)所示；其中，W
q
，W
k
，W
v
分别为优化参数；QK
T
获得注意力权重；d
k
是K的维度，以保证Softmax的梯度稳定性；V得到加权和，同时与输入保持一致；多头注意模块允许模型关注来自多个子空间的不同方面的信息，通过N个多头注意模块串联，构建transformer编码器；共构建N个子模块组成transformer编码器。3.根据权利要求1所述的一种语义增强特征融合自监督transformer的整景SAR海水养殖多目标提取方法，其特征在于，所述第二步中，首先构建两个结构相同的transformer编码器，如第一步所述，其中一个称为教师网络另一个称为学生网络通过视图变化和
随机掩膜，结合全局对比学习损失和局部图像掩膜损失训练优化学生网络，禁止反向传播优化教师网络；具体如下：2.1)全局对比损失是基于对比学习，使不同视图下的同一张图片相似特征最大化；将第一步中收集的多张二维图片作为输入图像x，然后进行随机图像增强，获得两个不同视图u和v，将u和v均输入教师网络和学生网络，输入嵌入之后，再次对嵌入后图像进行随机掩膜，得到两个视图的掩膜嵌入和未掩膜嵌入u
c
,v
c
，其中为学生网络输入嵌入得到的结果，u
c
,v
c
为教师网络输入嵌入得到的结果；将教师网络和学生网络得到的结果分别输入softmax函数，公式如式(4)和式(5)所示；其中，i和k是K维度上的网络输出概率分布；C是中心值，即通过教师网络输出的批次计算的平均值，以避免塌陷；τ
t
表示教师网络的一个温度参数；其中，i和k是K维度上的网络输出概率分布；τ
s
表示学生网络的温度参数；教师网络和学生网络有相同的结构，但参数不同；在梯度停止的教师网络参数下，全局对比学习损失被用来期望教师和学生网络的输出相匹配，如公式(6)所示，以优化学生网络参数；其中，L
CLS
是对比学习损失函数；具体来说，t
c1
是教师网络视图u
c
的对比学习特征SF
t
(u
c
,v
c
)，t
c2
是教师网络视图v
c
的对比学习特征SF
t
(u
c
,v
c
)，s
c1
是学生网络掩膜视图的对比学习特征s
c2
是学生网络掩膜视图的对比学习特征2.2)局部图像掩膜损失是基于掩膜重构还原，使掩膜的图像还原出未掩膜图像，获得图像局部本质特征；将不同视图u和v输入网络，通过输入嵌入操作，将图片转换为一维向量和以获得不同视图下的图像掩膜，其中i∈{1,..,n}，n为嵌入个数；此外，生成随机掩码m∈{0,1}
n
，与输入嵌入的批次个数相同，由0和1组成，用于记录输入嵌入n个值随机抽取部分的位置；每个视图和的输入嵌入通过相应的随机掩码m
u
和m
v
获得掩膜视图和将掩膜图像和未掩膜图像u
m
,v
m
输入两个网络(学生网络教师网络)，获得的结果进入Softmax函数，如公式(7)和公式(8)所示；
其中，i和k是K维度上的网络输出概率分布，τ
′
t
是教师网络温度参数，τ
′
s
是学生网络温度参数，C
′
是中心值；随后，根据图像掩膜的思想，定义损失函数L
MIS
，如公式(9)所示；其中，t
m1
是教师网络分离视图u
m
得到的掩膜图像特征SF
t
′
(u
m
,v
m
)；s
m1
是学生网络分离掩膜视图的掩膜图像特征t
m2
是教师网络分离视图v
m
得到的掩膜图像特征SF
t
′
(u
m
,v
m
)；s
m2
是学生网络分离掩膜视图的掩膜图像特...

【专利技术属性】
技术研发人员：范剑超，周健林，郑丹晨，李萌萌，邓棋文，田德智，王喜宝，褚楚，王平卓，董英超，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：