面向遥感场景分类任务的基础模型参数微调方法技术

面向遥感场景分类任务的基础模型参数微调方法，本发明专利技术涉及基础模型参数微调方法。本发明专利技术的目的为了解决大规模预训练基础模型微调时计算成本和内存需求大、适应性差以及现有微调方法忽略了遥感数据中的先验信息以及时空相关性的问题。过程为：1：获得预训练好的ConvNeXt骨干网络；2：构建场景分类网络模型；场景分类网络模型包括：ConvNeXt骨干网络、适配器模块、上下文感知提示模块和场景分类任务头；3：使用标注训练样本对场景分类网络模型的参数进行微调，微调时冻结除适配器模块、上下文感知提示模块及场景分类任务头的所有参数，获得微调好的场景分类网络模型。本发明专利技术用于遥感图像处理领域。

【技术实现步骤摘要】

本专利技术属于遥感图像处理领域，涉及遥感场景分类，具体的说是面向遥感场景分类任务的基础模型参数高效微调方法。

技术介绍

1、随着地球观测和深度学习技术的迅速发展，大规模视觉模型在过去几年中逐渐在遥感领域占据主导地位。遵循迁移学习的原则，下游任务可以从通过预训练模型学到的知识中获益。早期的预训练模型如cnns和transformers可以通过监督学习或自监督学习进行预训练。最近，为了统一视觉理解任务，提出了如moco和mae等先进的预训练范式，这些模型整体被称为基础模型。

2、基础模型通常遵循“预训练&微调”范式，在这一范式中，基础模型最初通过自监督学习在大量数据上进行预训练，以学习通用表示。随后，通过微调来转移预训练模型的理解能力，从而在下游任务上实现令人满意的性能。

3、作为主流的微调策略，全微调需要为每个任务和部署场景保持不同的参数集，这些参数集的大小等同于预训练的基础模型。这些参数独立运作，不能共享，使它们在现实应用中变得资源密集。此外，随着下游任务和部署环境的不断扩展，存储成本线性增加，特别是在移动系统上部署如vit本文档来自技高网...

【技术保护点】

1.面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述方法具体过程为：

2.根据权利要求1所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述步骤1中ConvNeXt骨干网络依次包括：分块头和N个卷积块；

3.根据权利要求2所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述步骤2中适配器模块EQAM依次包括：展平层Flatten、第一量化线性层Q-Linear、激活函数ReLU、第二量化线性层Q-Linear、缩放标量Scaling、变形Reshape；

4.根据权利要求3所述的面向遥感场景分类任务的基础模型参数...

【技术特征摘要】

1.面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述方法具体过程为：

2.根据权利要求1所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述步骤1中convnext骨干网络依次包括：分块头和n个卷积块；

3.根据权利要求2所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述步骤2中适配器模块eqam依次包括：展平层flatten、第一量化线性层q-linear、激活函数relu、第二量化线性层q-linear、缩放标量scaling、变形reshape；

4.根据权利要求3所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述步骤2中所述适配器模块插入到预训练好的convnext骨干网络中的每个卷积块中；具体过程为：

5.根据权利要求4所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：每个适配器模块eqam的具体处理过程为：

6.根据权利要求5所述的面向遥感场景分类任务的基础模型参数微调方法，其特征在于：所述第一量化线性层q-linear和第二量化线性...

【专利技术属性】
技术研发人员：谷延锋，董喆，刘天竹，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：