有限标注样本条件下的半监督遥感图像检索方法技术

本发明专利技术公开了一种有限标注样本条件下的半监督遥感图像检索方法，主要解决在现有技术难以充分挖掘无标注样本中隐藏的语义信息，及在有限标注样本条件下泛化性能差的问题，其方案为：构建由有监督分支和自监督分支组成的半监督多任务双分支网络；将高分辨率遥感数据集划分为标注图像和无标注图像；提取标注图像的特征向量和类概率向量，提取无标注图像的增强视图的特征向量；用提取的特征向量和类概率向量对半监督多任务双分支网络进行训练；将待查询图像和待检索数据库输入到训练好的半监督多任务双分支网络，得到检索出的遥感图像。本发明专利技术增强了半监督多任务双分支网络的泛化性能，提高了半监督遥感图像的检索性能，可用于大规模遥感数据的管理。大规模遥感数据的管理。大规模遥感数据的管理。

【技术实现步骤摘要】
有限标注样本条件下的半监督遥感图像检索方法


[0001]本专利技术属于图像处理
，特别涉及一种的半监督遥感图像检索方法，可用于对大规模遥感数据的管理。

技术介绍

[0002]随着遥感技术的飞速发展，遥感图像的数量每天以数以万计的速度增长。系统地管理这些大量数据对于不同的遥感应用程序来说至关重要。遥感图像检索作为解决这一问题的有效工具一直受到研究人员的关注。
[0003]现有的遥感图像检索方法可以大致分为两类，即基于手工制作的方法和基于深度学习的方法。基于手工制作的方法设计用于表示遥感图像中的视觉属性的特征描述符。常用的手工描述符包括全局特征和局部特征。此外，它们根据特定规则组合成的局部聚合描述符和视觉词袋也很常用。手工制作的描述符实现很简单，但是它们不能完全表示遥感图像中的复杂内容，从而限制了它们在遥感图像检索中的性能。目前，随着深度学习，特别是卷积神经网络的发展，基于深度学习的特征学习方法在遥感领域占据着主导地位，借助卷积神经网络强大的非线性拟合能力，越来越多的基于卷积神经网络的特征学习方法被开发用于遥感图像检索。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种有限标注样本条件下的半监督遥感图像检索方法，其特征在于，包括如下步骤：(1)构建由有监督分支和自监督分支组成的半监督多任务双分支网络，这两个分支均包括主干网络、多尺度注意力模块和两个全连接层，且两分支的主干网络和多尺度注意力模块的权重共享；(2)将标注样本的图像和对应的标签输入到有监督分支，通过该分支的第一个全连接层提取每张图像的特征向量，通过第二个全连接层生成每张图像的类概率向量；(3)将无标注样本的每个图像进行两组不同的随机数据增强获得两个不同的增强视图，再将生成的所有增强视图输入到自监督分支中，通过自监督分支的两个全连接层组成的非线性投影头提取每个增强视图的特征向量；(4)对半监督多任务双分支网络进行训练：4a)使用有监督分支第一个全连接层提取到的特征向量计算有监督深度度量学习损失函数L
SDML
，用第二个全连接层生成的类概率向量计算交叉熵损失函数L
CE
，并将这两个损失函数相加构成有监督分支的总损失函数L
sup
；4b)用自监督分支提取到的特征向量计算改进的自监督对比学习损失函数L
ICSL
，并将该函数作为自监督分支的损失函数；4c)设置超参数λ，通过参数λ将有监督分支和自监督分支的损失函数加权求和得到半监督多任务双分支网络的损失函数L；4d)使用随机梯度下降算法对半监督多任务双分支网络的损失函数L进行迭代求解，同时反向传播更新网络参数，直到损失函数收敛，得到训练好的半监督多任务双分支网络；(5)利用训练好的半监督多任务双分支网络进行遥感图像检索：5a)将整个高分辨遥感数据集作为待检索数据库，将高分辨遥感数据集中的无标记样本作为测试集；5b)将测试集和待检索数据库中的所有图像输入到训练好的半监督多任务双分支网络，通过有监督分支的第一个全连接层提取测试集和待检索数据库中的每张图像的特征向量；5c)计算测试集中每张图像的特征向量和待检索数据库中所有图像的特征向量的欧氏距离，将每张图像欧氏距离最小的前20个特征向量所对应的图像作为每张图像的检索结果。2.根据权利要求1所述的方法，其特征在于，步骤(1)中的主干网络,包括依次连接的一个卷积块、一个最大池化层和四个残差卷积块：该卷积块用于直接对输入图像降采样，以尽可能保留原始图像信息；该最大池化层用于对卷积层所提取的信息做进一步降维，以减少计算量，并加强图像特征的不变性，以增强图像的偏移、旋转等方面的鲁棒性；该四个残差卷积块，用于对上一层的输出特征进行进一步的特征提取，并进行下采样，得到主干网络的输出特征。3.根据权利要求1所述的方法，其特征在于，步骤(1)中的多尺度注意力模块包括依次连接的多尺度子模块和注意力子模块：该多尺度子模块，用于提取图像多个尺度的特征并进行融合，得到图像的多尺度融合特征；
该注意力子模块，用于提取多尺度融合特征中每个位置的注意力权重，并将注意力权重与多尺度融合特征逐元素相乘，得到多尺度注意力模块的输出特征。4.根据权利要求1所述的方法，其特征在于，步骤(1)中的有监督分支和自监督分支均包括的两个全连接层，其维度不同，且依次连接：有监督分支的第一个全连接层用于提取标记图像的特征，第二个全连接层用于提取标记图像的类概率向量；自监督分支的两个全连接层用于提取无标记图像的特征。5.根据权利要求1所述的方法，其特征在于，步骤4a)中计算有监督深度度量学习损失函数L
SDML
，实现如下：4a1)根据有监督分支第一个全连接层提取到的特征向量及对应的类标签计算每个类的类中心：其中p
i
表示第i类的类中心，f
ij
表示第i类的第j个特征向量，M表示每个类别有M个图像；4a2)计算基于类中心的深度度量学习损失函数L
center
：其中，N表示随机采样的类别数量，N
c
表示随机采样的N个类别组成的集合，N
c
‑
i表示集合N
c
中除第i个类别外其他N
‑
1个类别组成的集合，D(x,y)表示两个特征向量之间的欧几里得距离，Max(x,0)用于求x和0中的较大值，m1是一个边距超参数且m1＞0；4a3)根据有监督分支第一个全连接层提取到的特征向量及对应的类标签进行硬采样，即对于第i个样本，在除第i个样本所属类之外的N
‑
1个类的样本中选择一个距离最近的样本作为负样本，同时在同类样本中选择一个距离最远的样本作为正样本；4a4)计算基于硬采样的深度度量学习损失函数L
sample
：其中m2是一个边距超参数且m2＞0，i
C
表示第i个样本的类别，N
C
‑
i
C
集合N
...

【专利技术属性】
技术研发人员：马晶晶，胡恒超，唐旭，张向荣，焦李成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：