基于多任务学习的遥感场景分类方法技术

本发明专利技术提供一种基于多任务学习的遥感场景分类方法，解决现有遥感场景分类方法存在少量训练样本不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题。该方法包括：1)设计共享分支对所有任务中的图像提取特征，并记为共享特征；2)对每个任务设计一个特定任务分支，该分支根据所执行的任务将共享的特征调整为特定任务特征；3)将每个特定任务分支的输出连接到一个分类器上，完成当前任务的分类；4)训练多任务模型；5)获取分类结果。本发明专利技术方法可有效用于有标记训练数据不足的遥感图像场景分类任务。同时，使用特定分支提取任务特定特征，避免了不同任务间相互干扰，保证每个任务获得最优分类结果。个任务获得最优分类结果。个任务获得最优分类结果。

【技术实现步骤摘要】
基于多任务学习的遥感场景分类方法


[0001]本专利技术属于计算机视觉、图像处理领域，具体涉及一种基于多任务学习的遥感场景分类方法，可应用于航空图像、遥感图像识别等领域。

技术介绍

[0002]随着卫星和遥感技术的发展，获取大量高空间分辨率遥感影像变得越来越容易。这些图像包含了丰富的空间信息，对地质调查、城市规划、灾害监测等领域有很大的帮助。为了充分利用这些图像，对每一幅图像分配一个特定的语义标签，即遥感场景分类是必要的第一步。
[0003]目前，深度卷积神经网络(Convolutional Neural Network，CNN)由于其优异的性能，成为遥感场景分类的主导方法。利用CNN完成场景分类的策略大致可以分为两类：(1)从零开始训练CNN；(2)使用预训练的CNN。
[0004]基于从零开始训练CNN的方法使用大量的标记数据来训练一个新的CNN完成遥感图像分类。Maggiori等人在文献“E.Maggiori,Y.Tarabalka,G.Charpiat,and P.Alliez:Convolutional neural networks for large
‑
scale remote
‑
sensing image classification,IEEE Transactions on Geoscience and Remote Sensing,vol.55,no.2,pp.645
–
657,Feb.2017”中提出了一种使用卷积神经网络对遥感影像进行密集、像素化分类的端到端框架。在这个框架中，直接训练CNN从输入图像中生成分类图。该方法的不足之处是需要大量标记的训练数据。一个大规模的多层CNN包含数百万个参数，因此需要数百万个训练数据来完整地训练网络。然而，为每个新任务手工注释大量的训练数据费时费力，是不可取的。
[0005]基于预训练的CNN使用在其他数据集上训练的网络完成遥感场景分类任务。该类方法在遥感场景分类任务上具有较好的表现，是当前遥感场景分类的主流方法。该策略得益于神经网络的初始层倾向于捕获一般的结构，如边缘或颜色，这些结构对于所有的视觉任务都是共享的，因此可以从其他图像转移到目标遥感任务中。目前广泛使用的预训练CNN包括AlexNet、VGGNet、ResNet等。Zheng等人在文献“X.Zheng,Y.Yuan,and X.Lu:A deep scene representation for aerial scene classification,”IEEE Transactions on Geoscience and Remote Sensing,vol.57,no.7,pp.4799
–
4809,Jul.2019”中提出使用最后一个卷积层的神经元输出作为特征，并在该特征上执行多尺度策略作为图像的全局表达，使用支持向量机(Support Vector Machines，SVM)作为分类器完成遥感图像分类任务。另外有一些工作者如Marmanis等人在“D.Marmanis,M.Datcu,T.Esch,and U.Stilla:Deep learning earth
‑
observation classification using imagenetpretrained networks,IEEE Geoscience and Remote Sensing Letters,vol.13,no.1,pp.105
–
109,Jan.2016”中提出在目标遥感数据集微调CNN，利用微调后的CNN直接进行分类。该类方法的不足之处是使用预先训练好的CNN作为特征提取器，不能捕捉到当前任务的遥感图像的视觉特征，在可用于微调的遥感数据集不足的情况下，经过微调后的CNN也会偏向于用于预训练的数据集
分布，影响了最终的遥感场景分类性能，使得分类结果不准确。
[0006]综上所述，现有的遥感图像场景分类方法在少量训练样本情况下不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题，存在一定的局限性。

技术实现思路

[0007]本专利技术的目的是解决现有遥感场景分类方法在少量训练样本下不能实现有效的遥感影像场景特征表达以及分类结果不准确的问题，提供一种基于多任务学习的遥感场景分类方法。
[0008]为实现上述目的，本专利技术采用如下技术方案：
[0009]一种基于多任务学习的遥感场景分类方法，包括以下步骤：
[0010]步骤一、建立多任务模型；
[0011]1.1)使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为多个任务提取共享特征；
[0012]1.11)使用多个卷积层φ、激活层σ堆叠成卷积块σ(φ)；
[0013]1.12)使用多个卷积块堆叠成深度卷积神经网络作为共享分支；
[0014]1.13)将第t个任务的图像x
t
输入至共享分支f，记录共享分支f上每个卷积块σ(φ)的输出特征，该输出特征即为共享特征：
[0015][0016]式中，f(x
t
)是第t个任务中图像x
t
的特征；表示第k个模块的共享特征，1≤k≤K；
[0017]1.14)重复步骤1.13)，获取所有任务的共享特征；
[0018]1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：
[0019]1.21)使用一组卷积层和激活层构成的注意力模块，级联多个注意力模块组成特定任务分支；
[0020]1.22)每个注意力模块生成注意力掩膜，注意力掩膜生成方式如下：
[0021][0022]式中，表示任务t的第k个注意力掩膜；表示任务t的第k个注意力模块；e
k
为提取器，用于将前一个注意力模块得到的特定任务特征传递到当前注意力模块，提取器由卷积层和激活层构成；
[0023]1.23)将每个注意力掩膜作用在相应的共享特征上，以获得特定任务特征：
[0024][0025]其中，
⊙
表示对应元素相乘，为特定任务特征；
[0026]1.3)多任务分类：
[0027]1.31)对每个任务t，根据任务待分类的类别数目，选取分类器h
t
用于预测数据集中所有图像的场景类别，分类器h
t
的输出类别数目和每个任务中包含的场景类别数目相同；
[0028]1.32)将最后一个注意力模块的输出传递给分类器h
t
得到预测类别，此时，多任务模型建立完成：
[0029][0030]式中，表示分类器h
t
对输入图像x
t
的预测类别；
[0031]步骤二、训练多任务模型；
[0032]2.1)将训练图像输入至多任务模型中，得到该训练图像的预测值；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的遥感场景分类方法，其特征在于，包括以下步骤：步骤一、建立多任务模型；1.1)使用K个卷积块堆叠成的深度卷积神经网络构建共享分支，使用共享分支为多个任务提取共享特征；1.11)使用多个卷积层φ、激活层σ堆叠成卷积块σ(φ)；1.12)使用多个卷积块堆叠成深度卷积神经网络作为共享分支；1.13)将第t个任务的图像x
t
输入至共享分支f，记录共享分支f上每个卷积块σ(φ)的输出特征，该输出特征即为共享特征：式中，f(x
t
)是第t个任务中图像x
t
的特征；表示第k个模块的共享特征，1≤k≤K；1.14)重复步骤1.13)，获取所有任务的共享特征；1.2)为每个任务建立特定任务分支，该特定任务分支根据所执行的任务将共享特征调整为特定任务特征：1.21)使用一组卷积层和激活层构成的注意力模块，级联多个注意力模块组成特定任务分支；1.22)每个注意力模块生成注意力掩膜，注意力掩膜生成方式如下：式中，表示任务t的第k个注意力掩膜；表示任务t的第k个注意力模块；e
k
为提取器，用于将前一个注意力模块得到的特定任务特征传递到当前注意力模块，提取器由卷积层和激活层构成；1.23)将每个注意力掩膜作用在相应的共享特征上，以获得特定任务特征：其中，
⊙
表示对应元素相乘，为特定任务特征；1.3)多任务分类：1.31)对每个任务t，根据任务待分类的类别数目，选取分类器h
t
用于预测数据集中所有图像的场景类别，分类器h

【专利技术属性】
技术研发人员：卢孝强，龚腾飞，郑向涛，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：