基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法技术

本发明专利技术提供了一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。设计了相应的语义分割网络，主要包括特征提取网络、渐进式解析模块和共有性蒸馏模块，其中，渐进式解析模块将支持掩码逐步解析为多个有价值的子区域，以提供更多分割对象中难处理部分的信息，可以有效地解决遥感图像存在较大类内多样性的问题；共有性蒸馏模块利用基类和新类之间的共有性提取丰富的原型表征，并通过相似度引导原型融合，能够克服图像较低的目标

【技术实现步骤摘要】
基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法


[0001]本专利技术属图像语义分割
，具体涉及一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。

技术介绍

[0002]语义分割的目的是识别给定图像中每个像素的语义类别。全卷积神经网络(FCNs)是深度学习时代的开创性研究，在FCNs基础上，语义分割相关的研究可以进一步分为多个子方向，而最广泛的研究主要集中在多尺度信息的聚合上。如“Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs”设计了空洞金字塔池化模块，利用空洞卷积来协同捕获和集成多尺度特征；“Dual attention network for scene segmentation”提出了一种双注意力机制网络，分别对空间维度和通道维度的语义相关性进行建模，自适应集成局部特征与全局特征来实现特征聚合。大多数的语义分割任务都需要数以万计的标注数据来进行训练，并且所训练的模型只能产生关于已知类别的输出，不易扩展到未知类别的分割预测任务，这些不利的因素阻碍了语义分割的进一步发展。且大多研究只涉及自然图像的分析和处理，对于遥感图像的研究较少。由于遥感图像具有较大的类内多样性和较低的目标
‑
背景对比度，现有的少样本分割方法并不能针对遥感图像的这一复杂特征给出很好的结果，分割遥感图像时会出现分割目标主体不完整以及无关干扰物错误激活的难点问题。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法。设计了相应的语义分割网络，主要包括特征提取网络、渐进式解析模块和共有性蒸馏模块，其中，渐进式解析模块将支持掩码逐步解析为多个有价值的子区域，以提供更多分割对象中难处理部分的信息，可以有效地解决遥感图像存在较大类内多样性的问题；共有性蒸馏模块利用基类和新类之间的共有性提取丰富的原型表征，并通过相似度引导原型融合，能够克服图像较低的目标
‑
背景对比度的不足。本专利技术能够有效改善分割遥感图像时出现的分割目标主体不完整和无关干扰物错误激活的问题，提高分割对象的召回率，抑制无关干扰因素。
[0004]一种基于渐进式解析和共有性蒸馏的少样本语义分割方法，其特征在于步骤如下：
[0005]步骤1：将公开的iSAID数据集随机等分为三个子集，其中，任选两个子集作为训练数据集，另一子集作为测试数据集，数据集中包含支持图像和其支持掩码、查询图像和其查询掩码；
[0006]步骤2：给定一幅支持图像和一幅查询图像采用共享权重的特征提取网络分别提取得到其中间特征图F
s
和F
q
，其中，H表示图像的高度，W表示图像的宽度；所述的特征提取网络采用VGG
‑
16网络或ResNet
‑
50网络；
[0007]步骤3：将支持图像的中间特征图F
s
和其原始支持掩码Y
s
输入到渐进式解析模块，输出得到若干解析原型p
p
；
[0008]所述的渐进式解析模块的处理过程为：首先，对中间特征图进行全局平均池化处理，得到其前景区域的初始原型p0，然后，按下式迭代计算得到原型p
p
：
[0009][0010]其中，p
p
表示第p个原型，p＝0,...,np，np为最大解析次数，取值范围为1～10；(x,y)表示图中点的空间位置，x＝1,2,
…
,W，y＝1,2,
…
,H，表示中间特征图F
s
中位置(x,y)处的点的值，1[
·
]为指示函数，满足条件时输出1，不满足则输出0；表示第p次解析时使用的支持掩码Y
s；p
中位置(x,y)处的点的值，其中，初始时Y
s；0
＝Y
s
，当第p次解析时，将p
‑
1次解析得到的支持原型p
p
‑1和中间特征图F
s
进行相似性度量得到概率图，当概率图中位置(x,y)处的点的值大于阈值τ时，将第p
‑
1次解析时使用的支持掩码Y
s；p
‑1中位置(x,y)处的点的值置为0，得到新的支持掩码Y
s；p
，阈值τ的取值范围为0.3～0.9；
[0011]步骤4：按照下式计算得到概率图M
s
：
[0012][0013]其中，(x,y)表示图中点的空间位置，p
′
∈{0,...,np
‑
1}为原型索引，表示概率图M
s
中位置(x,y)处的点的值，p
p
′
表示步骤3计算得到的第p
′
个原型，表示中间特征图F
s
中位置(x,y)处的点的值，||
·
||表示向量的L2范数；
[0014]步骤5：按照下式计算得到预测掩码
[0015][0016]其中，p
″
＝p
‑
1表示概率图和预测掩码的索引，取值范围为1～np
‑
1；表示第p
″
个预测掩码中位置(x,y)处的点的值；
[0017]步骤6：按照下式计算得到新的支持掩码Y
s
′
：
[0018][0019]其中，表示支持掩码Y
′
s；p
″
+1
中位置(x,y)处的点的值；
[0020]步骤7：按照下式计算得到最终的支持原型p
s
：
[0021][0022]其中，Conv(
·
)表示1
×
1的卷积运算，表示沿通道维度的级联操作，p
p
表示步骤3计算得到的第p个原型，p＝0,...,np；
[0023]步骤8：将支持原型p
s
输入到共有性蒸馏模块，输出得到若干新类原型其中，l表示新类原型索引，l∈{1,...,ns}，ns表示新类原型的数量；所述的共有性蒸馏模块包含若干服从正态分布的基类记忆单元，以和原型p
s
最相关的若干基类作为新类原型输出；
[0024]步骤9：按下式对支持原型p
s
和所有新类原型进行加权融合，得到融合原型
[0025][0026]其中，β融合系数一，设置为β＝0.7，α是融合系数二，设置为α＝1/ns，l＝1,...,ns；
[0027]步骤10：将融合原型和查询图像的中间特征图F
q
输入到解码器网络中进行分割预测，输出得出分割掩码；所述的解码网络为具有多尺度特征聚合功能的网络；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式解析和共有性蒸馏的少样本遥感图像分割方法，其特征在于步骤如下：步骤1：将公开的iSAID数据集随机等分为三个子集，其中，任选两个子集作为训练数据集，另一子集作为测试数据集，数据集中包含支持图像和其支持掩码、查询图像和其查询掩码；步骤2：给定一幅支持图像和一幅查询图像采用共享权重的特征提取网络分别提取得到其中间特征图F
s
和F
q
，其中，H表示图像的高度，W表示图像的宽度；所述的特征提取网络采用VGG
‑
16网络或ResNet
‑
50网络；步骤3：将支持图像的中间特征图F
s
和其原始支持掩码Y
s
输入到渐进式解析模块，输出得到若干解析原型p
p
；所述的渐进式解析模块的处理过程为：首先，对中间特征图进行全局平均池化处理，得到其前景区域的初始原型p0，然后，按下式迭代计算得到原型p
p
：其中，p
p
表示第p个原型，p＝0,...,np，np为最大解析次数，取值范围为1～10；(x,y)表示图中点的空间位置，x＝1,2,
…
,W，y＝1,2,
…
,H，表示中间特征图F
s
中位置(x,y)处的点的值，1[
·
]为指示函数，满足条件时输出1，不满足则输出0；表示第p次解析时使用的支持掩码Y
s；p
中位置(x,y)处的点的值，其中，初始时Y
s；0
＝Y
s
，当第p次解析时，将p
‑
1次解析得到的支持原型p
p
‑1和中间特征图F
s
进行相似性度量得到概率图，当概率图中位置(x,y)处的点的值大于阈值τ时，将第p
‑
1次解析时使用的支持掩码Y
s；p
‑1中位置(x,y)处的点的值置为0，得到新的支持掩码Y
s；p
，阈值τ的取值范围为0.3～0.9；步骤4：按照下式计算得到概率图M
s
：其中，(x,y)表示图中点的空间位置，p
′
∈{0,...,np
‑
1}为原型索引，表示概率图M
s
中位置(x,y)处的点的值，p
p
′
表示步骤3计算得到的第p
′
个原型，表示中间特征图F
s
中位置(x,y)处的点的值，||
·
||表示向量的L2范数；步骤5：按照下式计算得到预测掩码步骤5：按照下式计算得到预测掩码其中，p
″
＝p
‑
1表示概率图和预测掩码的索引，取值范围为1～n...

【专利技术属性】
技术研发人员：程塨，郎春博，王俊逸，屠斌飞，闵令通，韩军伟，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：