【技术实现步骤摘要】
本专利技术属于计算机视觉、图像处理，更具体地，涉及一种基于动态适配器和内部提示的三维预训练模型微调方法。
技术介绍
1、三维点云分析基础性计算机视觉任务，在三维重建、自动驾驶感知等领域有着广泛运用。使用基于transformer架构的模型，通过对比学习和掩码建模等方法进行自监督预训练是近年热点课题。传统的范式是通过自监督预训练后，在下游任务上对模型的全部参数进行进一步微调。
2、然而这种微调策略通常会由于调整整个骨干网络的全部参数而破坏预训练模型的先验知识，同时为每个下游任务独立存储和部署微调模型会造成大量的存储空间开销。参数高效迁移学习(parameter-efficient transfer learning，petl)方法致力于缓解这些问题。
3、nlp与2d计算机视觉的研究人员已经探索大量参数高效迁移学习方法，包括提示调参(prompt tuning)、前缀调参(prefix tuning)、引入适配器(adapter)等。但目前为止，只有极少数针对3d点云分析这一领域的参数高效微调方法的研究。
<...【技术保护点】
1.一种基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤S1中，对点云数据进行预处理包括：
3.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤S2中，动态适配器包括以下结构：
4.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤S2中，动态适配器通过以下公式实现：
5.根据权利要求1所述的基于动态适配器和内部...
【技术特征摘要】
1.一种基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤s1中，对点云数据进行预处理包括：
3.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤s2中，动态适配器包括以下结构：
4.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤s2中，动态适配器通过以下公式实现：
5.根据权利要求1所述的基于动态适配器和内部提示的三维预训练模型微调方法，其特征在于，在所述步骤s2中，通过以下方式，嵌入动态适配器：
6.根据权利要求1所述的基于动态适配器和内部提示的三维预训练...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。