利用2D预训练模型作为3D下游任务主干网络的方法及系统技术方案

本申请实施例涉及人工智能技术领域，特别涉及一种利用2D预训练模型作为3D下游任务主干网络的方法及系统，该方法包括：首先，将点云映射为高维特征；然后，设定若干个任务符号，将任务符号与高维特征拼接为一体，得到拼接数据；将拼接数据输入至2D预训练模型的主干网络中，对高维特征进行更新，得到更新的点云特征；基于更新的点云特征，对更新的点云特征进行解码，得到预测信息。本申请能够解决现有的3D预训练的方法中由于3D领域的数据量少导致的难以获得具有丰富知识的预训练模型的问题。以获得具有丰富知识的预训练模型的问题。以获得具有丰富知识的预训练模型的问题。

【技术实现步骤摘要】
利用2D预训练模型作为3D下游任务主干网络的方法及系统


[0001]本申请实施例涉及人工智能
，特别涉及一种利用2D预训练模型作为3D下游任务主干网络的方法及系统。

技术介绍

[0002]目前3D通用大模型受到国内外越来越多的关注，该技术在自动驾驶，机器人等领域有非常大的价值。通用3D大模型中的核心技术就是研发一个具有丰富知识的3D预训练模型，利用该3D预训练模型，可以大大节省下游任务的部署时间，节约人工智能在行业中应用的开发成本。当然3D预训练的方法主要有两类：基于生成的方法以及基于对比学习的方法。
[0003]以上两类方法都需要大规模3D数据才能获得具有丰富知识的3D预训练模型。然而，3D数据的获取较为昂贵，3D数据稀少，获得具有丰富知识的3D预训练模型异常困难。因此，由于3D领域的数据量少，不足以训练一个具有丰富知识的预训练模型，需提出一种预训练模型以解决3D下游任务。

技术实现思路

[0004]本申请实施例提供一种利用2D预训练模型作为3D下游任务主干网络的方法及系统，解决现有的3D预训练的方法中由于3D领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，包括：将点云映射为高维特征；设定若干个任务符号，将所述任务符号与所述高维特征拼接为一体，得到拼接数据；将所述拼接数据输入至2D预训练模型的主干网络中，对所述高维特征进行更新，得到更新的点云特征；基于更新的点云特征，对更新的点云特征进行解码，得到预测信息。2.根据权利要求1所述的利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，采用点云分词器将点云映射为高维特征，或，采用卷积神经网络将点云映射为高维特征。3.根据权利要求1所述的利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，所述将点云映射为高维特征，包括：在原始点云中采样N个点，并以每个点作为中心聚合其邻近点，形成N个组；将每个组的信息映射至高维特征空间，得到每个组的高维特征。4.根据权利要求3所述的利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，采用最远点采样算法在原始点云中采样。5.根据权利要求3所述的利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，采用基于深度学习的多层感知机网络将每个组的信息映射至高维特征空间。6.根据权利要求1所述的利用2D预训练模型作为3D下游任务主干网络的方法，其特征在于，采用下游任务头对更新的点云特征进行解码。7.一种利用2D预训练模型作为3D下游任...

【专利技术属性】
技术研发人员：黄小水，贺通，欧阳万里，黎盛，左一帆，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：