基于2D预训练模型的3D小样本连续学习方法技术

一种基于2D预训练模型的3D小样本连续学习方法，属于3D小样本连续学习领域。本发明专利技术针对现有2D预训练模型不适用3D少样本类增量学习的问题。包括对每个点云样本进行多视角渲染与2D特征编码，并合并得到深度图全局特征；对每个点云样本进行3D编码与调节得到与2D对齐后3D点云特征；将深度图全局特征与3D点云特征融合得到融合后全局特征；采用主成分对标签特征向量和融合后全局特征进行降维操作，计算无冗余全局特征与各标签特征向量的重归一化余弦相似度，并计算分类概率损失值与对抗学习损失值，得到总损失值；对每个新增类点云样本库中的新增类点云样本进行上述过程数据处理实现3D小样本连续学习。本发明专利技术用于3D小样本连续学习。

【技术实现步骤摘要】

本专利技术涉及基于2d预训练模型的3d小样本连续学习方法，属于3d小样本连续学习领域。

技术介绍

1、近年来，3d领域的合成创作以及现实世界的3d重建推动了3d领域的蓬勃发展。领域的发展导致的3d点云数据规模的扩大自然地将新类别引入3d领域。然而，这些新兴类别通常包含有限数量的实例，如何在保留旧知识的同时从有限的新样本中学到对应知识，对现有的3d模型构成了严峻的挑战。因此，在实际应用中，3d少样本类增量学习(fscil)变得日益重要。

2、先前在2d小样本和零样本任务中的工作表明，预训练模型(ptm)在增量学习场景中表现出色，通常优于非基于ptm的方法。这种优越的性能在很大程度上归功于ptm获得的先验知识，这增强了下游任务的泛化能力。但因为3d fscil任务的特殊性，仍然存在两个关键挑战。首先，ptm的设计是为了捕捉详细的视觉特征，如颜色和纹理。然而，点云数据作为离散点的集合，缺乏表示这些复杂视觉细节的信息。这种差异可能导致不准确的特征提取，从而对分类性能产生不利影响；其次，视觉语言预训练模型v-l ptm的使用放大了噪声敏感性的问题，特别是本文档来自技高网...

【技术保护点】

1.一种基于2D预训练模型的3D小样本连续学习方法，其特征在于包括，

2.根据权利要求1所述的基于2D预训练模型的3D小样本连续学习方法，其特征在于，预训练得到主成分的方法为：

3.根据权利要求2所述的基于2D预训练模型的3D小样本连续学习方法，其特征在于，

4.根据权利要求3所述的基于2D预训练模型的3D小样本连续学习方法，其特征在于，

5.根据权利要求4所述的基于2D预训练模型的3D小样本连续学习方法，其特征在于，

6.根据权利要求5所述的基于2D预训练模型的3D小样本连续学习方法，其特征在于，

<p>7.根据权利要求...

【技术特征摘要】

1.一种基于2d预训练模型的3d小样本连续学习方法，其特征在于包括，

2.根据权利要求1所述的基于2d预训练模型的3d小样本连续学习方法，其特征在于，预训练得到主成分的方法为：

3.根据权利要求2所述的基于2d预训练模型的3d小样本连续学习方法，其特征在于，

4.根据权利要求3所述的基于2d预训练模型的3d小样本连续学习方法，其特征在于，

5.根据权利要求4所述的基于2d预训练模型的3d小样本连续学习方法，其特征在于，

6....

【专利技术属性】
技术研发人员：杨光磊，徐琬，黄天毓，左旺孟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：