System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 小样本遥感场景图像分类方法、装置、设备及介质制造方法及图纸_技高网

小样本遥感场景图像分类方法、装置、设备及介质制造方法及图纸

技术编号:40323310 阅读:7 留言:0更新日期:2024-02-09 14:18
本申请涉及一种小样本遥感场景图像分类方法、装置、设备及介质,方法包括:调用预训练的遥感场景图像分类模型,遥感场景图像分类模型中的图像特征提取器提取遥感场景图像中的图像特征;遥感场景图像分类模型中的BERT模型中的图像特征映射网络对图像特征进行全局平均池化,采用两个全连接层将图像特征映射到512维特征嵌入空间确定图像映射特征;BERT模型中的语义特征映射网络提取遥感场景图像中的各类别名称的语义特征,采用两个全连接层将语义特征映射到512维特征嵌入空间确定语义映射特征;将图像映射特征以及语义映射特征进行二范数归一化,确定遥感场景图像中各个场景相对应的类别。本申请能够有效提升小样本学习分类识别任务性能。

【技术实现步骤摘要】

本申请涉及遥感图像处理领域,尤其涉及一种小样本遥感场景图像分类方法、相应的装置、电子设备及计算机可读存储介质。


技术介绍

1、随着遥感技术在观测范围和图像分辨率上的提高,遥感图像所包含的关于地形、植被、建筑等丰富地物数据,可为环境监测、土地资源管理、以及城市规划等应用提供重要的数据来源。遥感场景分类是遥感图像应用研究的重要组成部分。为实现更准确的场景分类,有效提取描述场景的特征成为关键问题之一。近年,随着深度学习技术的快速发展,深度学习方法在图像分类、语义分割和目标检测等多个领域中均取得最优性能。

2、目前,卷积神经网络已成为解决遥感场景分类问题的有效方案,但仍存在一定局限性,如当各类训练样本(或参考样本)较少时,模型易产生过拟合现象;而开发适用于小样本数据的学习模型亟待解决,小样本学习算法大体包括两个学习阶段:第一阶段是在有大量数据的基类上进行模型预训练;第二阶段是在目标小样本任务(又称新类)上微调预训练模型(例如,每类只有1或5个样本)。该策略模拟人类视觉认知识别机理,通过迁移先验知识来有效完成当前新任务。虽然通过自监督约束能有效提升小样本学习模型性能,但仍存在明显局限性,传统技术中基本都采用视觉数据,但忽略了视觉中的语义属性。

3、综上,适应现有技术中采用卷积神经网络进行遥感场景图像分类,模型易产生过拟合现象,以及小样本学习模型基本都采用视觉数据,但忽略了视觉中的语义属性等问题,本申请出于解决该问题的考虑作出相应的探索。


技术实现思路

1、本申请的目的在于解决上述问题而提供一种小样本遥感场景图像分类方法、相应的装置、电子设备及计算机可读存储介质。

2、为满足本申请的各个目的,本申请采用如下技术方案:

3、适应本申请的目的之一而提出的一种小样本遥感场景图像分类方法,包括:

4、响应遥感场景图像分类指令,获取待分类遥感场景图像;

5、调用预训练的遥感场景图像分类模型,所述遥感场景图像分类模型中的图像特征提取器提取所述遥感场景图像中的图像特征;

6、所述遥感场景图像分类模型中的bert模型中的图像特征映射网络对所述图像特征进行全局平均池化,采用两个全连接层将所述图像特征映射到512维特征嵌入空间确定图像映射特征;

7、所述bert模型中的语义特征映射网络提取所述遥感场景图像中的各类别名称的语义特征,采用两个全连接层将所述语义特征映射到512维特征嵌入空间确定语义映射特征;

8、将所述图像映射特征以及语义映射特征进行二范数归一化,确定所述遥感场景图像中各个场景相对应的类别,以完成遥感场景图像的分类。

9、可选的,训练遥感场景图像分类模型的步骤,包括:

10、从预设的数据库中获取遥感场景图像,按照预设比例将所述遥感场景图像划分为训练集、测试集以及验证集;

11、从所述训练集中选取遥感场景图像x,将所述遥感场景图像x按照旋转角度r进行旋转,确定旋转后的遥感场景图像xr;

12、在监督学习模块中,采用图像特征提取器fθ(·)提取所述遥感场景图像x的图像特征,采用余弦分类器根据所述图像特征进行分类任务,其中,所述监督学习模块的交叉熵损失函数lsup为lsup=-logcω(fθ(xr)),θ表示图像特征提取器的参数,ω表示余弦分类器的参数;

13、在自监督学习模块中,采用旋转分类器rφ(·)预测旋转后的遥感场景图像xr的真实旋转角度,其中,所述自监督学习模块的交叉熵损失函数lself为lself=-logrφ(fθ(xr)),rφ(·)为含有矩阵参数φ的四向线性分类器,其预测标签为旋转角度r;

14、将监督学习模块与自监督学习模块相结合,共同作用于图像特征提取器fθ(·),其中,目标损失函数lall表示为lall=lsup+αlself,α为超参数;

15、根据所述目标损失函数来更新模型参数,直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后,保存模型参数并完成对所述遥感场景图像分类模型的训练。

16、可选的,训练遥感场景图像分类模型的步骤,包括:

17、每个任务从dn随机选择n类,从选定的n类中随机选择k个样本作为支持集,将n×k个样本定义为ds,其中,为第二阶段使用的新类;

18、从选定的n类中随机选择与所述ds不重合的m个样本作为查询集,将n×m个样本定义为dq;

19、冻结第一阶段训练的图像特征提取器fθ(·),采用新任务中支持集ds对余弦分类器cω(·)中的矩阵参数ωk进行微调;

20、将所述矩阵参数ωk设置为新任务支持集中第k类所有特征的均值,计算确定查询集dq的图像特征与各类代表性特征ωk之间的相似度,根据所述相似度进行遥感场景图像分类。

21、可选的,训练遥感场景图像分类模型的步骤,包括:

22、所述遥感场景图像分类模型采用随机梯度下降算法进行训练,确定初始学习率为0.1,动量为0.9。

23、可选的,获取待分类遥感场景图像的步骤之后,包括:

24、响应遥感场景图像预处理指令,对所述遥感场景图像进行归一化处理;

25、调用预设的图像归一化算法,将所述遥感场景图像统一调整为128×128像素。

26、可选的,所述遥感场景图像分类模型中的bert模型中的图像特征映射网络对所述图像特征进行全局平均池化的步骤之前,包括:

27、基于所述图像映射特征以及语义映射特征的余弦相似度构造损失函数,语义正则项的交叉熵损失lsema计算过程为:

28、psema=softmax[sim(gλ(xr),hμ(m)m∈m)],

29、lsema=-log(psema),

30、其中,psema表示图像映射特征与db中每个类名语义映射特征的相似度分布,m是类别名称,m表示db中类别名称的集合。λ表示图像特征映射网络参数,μ表示语义特征映射网络参数,sim(·)表示两者余弦相似度,softmax(·)表示softmax激活函数,为第一阶段使用的基类,遥感场景图像x∈xb且标签y∈yb。

31、可选的,所述遥感场景图像包括岛屿遥感图像、湖泊遥感图像、山脉遥感图像和雪堡遥感图像的一项或任意多项。

32、适应本申请的另一目的而提供的一种小样本遥感场景图像分类装置,包括:

33、遥感图像获取模块,设置为响应遥感场景图像分类指令,获取待分类遥感场景图像;

34、图像特征提取模块,设置为调用预训练的遥感场景图像分类模型,所述遥感场景图像分类模型中的图像特征提取器提取所述遥感场景图像中的图像特征;

35、图像映射确定模块,设置为所述遥感场景图像分类模型中的bert模型中的图像特征映射网络对所述图像特征进行全局平均池化,采用两个全连接层将所述图像特征映射到512维特征嵌入空间确定图像映射特征;

36、本文档来自技高网...

【技术保护点】

1.一种小样本遥感场景图像分类方法,其特征在于,包括:

2.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

3.根据权利要求2所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

4.根据权利要求2所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

5.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,获取待分类遥感场景图像的步骤之后,包括:

6.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,所述遥感场景图像分类模型中的BERT模型中的图像特征映射网络对所述图像特征进行全局平均池化的步骤之前,包括:

7.根据权利要求1至6任意一项所述的小样本遥感场景图像分类方法,其特征在于,所述遥感场景图像包括岛屿遥感图像、湖泊遥感图像、山脉遥感图像和雪堡遥感图像的一项或任意多项。

8.一种小样本遥感场景图像分类装置,其特征在于,包括:

9.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。

...

【技术特征摘要】

1.一种小样本遥感场景图像分类方法,其特征在于,包括:

2.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

3.根据权利要求2所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

4.根据权利要求2所述的小样本遥感场景图像分类方法,其特征在于,训练遥感场景图像分类模型的步骤,包括:

5.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,获取待分类遥感场景图像的步骤之后,包括:

6.根据权利要求1所述的小样本遥感场景图像分类方法,其特征在于,所述遥感场景图像分类模型中的bert模型中的图像特征映射网络对所述图像...

【专利技术属性】
技术研发人员:骆威李豪俊
申请(专利权)人:华南农业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1