面向小样本遥感影像场景分类的自监督自蒸馏元学习方法技术

本发明专利技术具体公开了一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，所述方法包括以下步骤：S1、基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练，获取嵌入网络模型；S2、将嵌入网络模型嵌入到元学习框架中进行训练，得到小样本分类嵌入网络模型；S3、基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化，进而完成面向小样本遥感影像分类的自监督自蒸馏元学习，得到训练好的SMSR模型。本发明专利技术通过将自监督学习训练得到具有特征提取能力的嵌入网络模型应用到元学习框架中进行小样本遥感影像分类训练，再经过自蒸馏精简得到训练好的SMSR模型，进而实现面向小样本遥感影像分类的自监督自蒸馏元学习。小样本遥感影像分类的自监督自蒸馏元学习。小样本遥感影像分类的自监督自蒸馏元学习。

【技术实现步骤摘要】
面向小样本遥感影像场景分类的自监督自蒸馏元学习方法


[0001]本专利技术涉及遥感影像处理
，尤其涉及一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法。

技术介绍

[0002]随着越来越多的遥感卫星被发射升空，遥感影像的获取变得越来越简单，对更快速更智能的遥感影像理解的需求也日益增加。随着遥感影像分辨率的提高，遥感影像中地物的细节越来越丰富，也产生了众多新的应用。其中，遥感影像场景分类是将每张遥感影像指定一个标签，这一标签表明了该影像中包含的地物所构成的场景，如商业区、学校或者公园。以往针对不同地物的特点手工设计特征来进行遥感影像理解的方法因为费时费力且准确性不高，已经逐渐被基于机器(深度)学习的方法所代替。
[0003]深度学习技术在遥感图像处理领域有着日渐广泛的应用。通过在大规模的有标签遥感影像数据集上进行有监督训练，可以得到适用于该数据集的深度神经网络。遥感影像场景分类是对遥感影像进行智能解译的重要环节，但是在某些特定场景下，获得的遥感影像分类数据往往十分有限且缺少标注，无法反映真实数据分布，用于直接训练深度学习网络，得到的网络的性能会出现明显的下降。
[0004]鉴于此，如何解决遥感影像场景分类中存在的小样本问题是本
人员亟待解决的技术问题。

技术实现思路

[0005]本专利技术的目的是克服现有技术中的缺点和不足，提供一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，通过自监督学习训练得到具有特征提取能力的嵌入网络模型，将嵌入网络模型应用到元学习框架中进行小样本遥感影像分类训练，然后使用自蒸馏进行精简，从而得到训练好的SMSR模型，最后利用训练好的SMSR模型即可对实时获取的遥感影像进行分类。
[0006]为解决上述技术问题，本专利技术提供一种面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，所述方法包括以下步骤：
[0007]S1、基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练，进而得到能够提取遥感影像特征信息的嵌入网络模型；
[0008]S2、将步骤S1中所获取的嵌入网络模型嵌入到元学习的框架中进行训练，并使元学习训练后的嵌入网络模型能够利用已有先验知识对新样本进行分类，进而得到小样本分类嵌入网络模型；
[0009]S3、基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化，进而完成面向小样本遥感影像分类的自监督自蒸馏元学习，得到训练好的SMSR模型。
[0010]优选地，所述步骤S1具体实现方式为：
[0011]S11、将对比学习设置为自监督学习的辅助任务，并选取NCE损失为对比学习的衡
量指标；
[0012]S12、利用不同数据增强方法对同一张遥感图像进行数据增强，并计算在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失；
[0013]S13、利用随机梯度下降法不断减少在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失，直至该NCE损失的值趋于稳定，进而得到能够提取遥感影像特征信息的嵌入网络模型。
[0014]优选地，所述步骤S12中不同数据增强方法包括缩放、随机裁剪、随机中心裁剪、仿射变换、颜色抖动、随机水平翻转和随机灰度变换。
[0015]优选地，所述对比学习通过选取来源于预设的深度神经网络中不同卷积层所生成的特征图进行对比。
[0016]优选地，所述步骤S12中在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失用公式表示为：
[0017]L(x
m
,x
n
)＝L(f
a
(x
m
),f5(x
n
))+L(f
a
(x
m
),f
e
(x
n
))+L(f5(x
m
),f5(x
n
))+L(f
a
(x
n
),f5(x
m
))+L(f
a
(x
n
),f
e
(x
m
))+L(f
e
(x
m
),f
e
(x
n
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]式(1)中，x
m
和x
n
分别表示同一张遥感影像经过两种不同数据增强方法进行数据增强的处理结果，f
a
表示预设的深度神经网络提取的全局特征图，f5表示预设的深度神经网络中第五层卷积提取的局部特征图，f
e
表示预设的深度神经中最后一层卷积提取的网络最后一层输出特征图，其中，
[0019][0020][0021][0022][0023]N表示所有遥感影像，d表示欧几里得距离的平方。
[0024]优选地，所述步骤S2的具体实现方式为：
[0025]S21、将步骤S1所获取的嵌入网络模型嵌入到元学习的框架中并作为待训练嵌入网络模型；
[0026]S22、将由所有遥感影像构成的数据集中的样本分为若干个种类，从每一个种类中均随机抽取K个样本作为支持集，其余样本作为查询集，并将支持集中的样本输入待训练嵌入网络模型中进行度量，得到支持集中第i个样本的分类结果w
i
，用公式表示为：
[0027][0028]式(2)中，f()表示待训练嵌入网络模型，S表示支持集，y
i
表示支持集中的第i个样本，z
i
表示样本y
i
的对应标签；
[0029]S23、将查询集中的样本输入待训练嵌入网络模型得到查询集中样本的分类结果，然后计算查询集中样本的分类结果与支持集中样本的分类结果之间的差异，进而判断出查询集中样本的种类；
[0030]S24、利用随机梯度下降法不断降低查询集中样本的分类结果与支持集中样本的分类结果之间的差异，以使元学习训练后的待训练嵌入网络模型获得利用已有先验知识对新样本进行分类的能力，进而得到小样本分类嵌入网络模型。
[0031]优选地，所述查询集中样本的分类结果与支持集中样本的分类结果之间的差异用公式表示为：
[0032]L
meta
＝log∑
n
exp(
‑
D(f(q),w
i
))
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0033]式(3)中，q表示查询集中样本，wi表示待训练嵌入网络模型对支持集中第i个样本的分类结果，表示查询集中样本与支持集中样本的分类结果之间的差异。
[0034]优选地，所述步骤S3的具体实现方式为：首先计算自蒸馏训练过程中的损失函数，即计算自蒸馏训练中第k代预测值和第k代实际值之间的差异以及第k代预测值与第k
‑
1代预测值之间的差异；然后利用诱导网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，其特征在于，所述方法包括以下步骤：S1、基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练，进而得到能够提取遥感影像特征信息的嵌入网络模型；S2、将步骤S1中所获取的嵌入网络模型嵌入到元学习的框架中进行训练，并使元学习训练后的嵌入网络模型能够利用已有先验知识对新样本进行分类，进而得到小样本分类嵌入网络模型；S3、基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化，进而完成面向小样本遥感影像分类的自监督自蒸馏元学习，得到训练好的SMSR模型。2.如权利要求1所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，其特征在于，所述步骤S1具体实现方式为：S11、将对比学习设置为自监督学习的辅助任务，并选取NCE损失为对比学习的衡量指标；S12、利用不同数据增强方法对同一张遥感图像进行数据增强，并计算在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失；S13、利用随机梯度下降法不断减少在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失，直至该NCE损失的值趋于稳定，进而得到能够提取遥感影像特征信息的嵌入网络模型。3.如权利要求2所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，其特征在于，所述步骤S12中不同数据增强方法包括缩放、随机裁剪、随机中心裁剪、仿射变换、颜色抖动、随机水平翻转和随机灰度变换。4.如权利要求3所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，其特征在于，所述对比学习通过选取来源于预设的深度神经网络中不同卷积层所生成的特征图进行对比。5.如权利要求4所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法，其特征在于，所述步骤S12中在不同数据增强方法下该遥感图像的数据增强处理结果之间的NCE损失用公式表示为：L(x
m
,x
n
)＝L(f
a
(x
m
),f5(x
n
))+L(f
a
(x
m
),f
e
(x
n
))+L(f5(x
m
),f5(x
n
))+L(f
a
(x
n
),f5(x
m
))+L(f
a
(x
n
),f
e
(x
m
))+L(f
e
(x
m
),f
e
(x
n
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式(1)中，x
m
和x
n
分别表示同一张遥感影像经过两种不同数据增强方法进行数据增强的处理结果，f
a
表示预设的深度神经网络提取的全局特征图，f5表示预设的深度神经网络中第五层卷积提取的局部特征图，f
e
...

【专利技术属性】
技术研发人员：夏鲁瑞，周浩楠，李森，陈雪旗，卢妍，张占月，王鹏，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：