一种用于点云理解的调优系统及方法技术方案

本发明专利技术公开一种用于点云理解的调优系统，包括点云嵌入模块、提示嵌入模块以及预训练模型。其中点云嵌入模块用于提取输入点云特征，提示嵌入模块用于针对指定的下游任务在线生成提示，预训练模型则用于根据点云特征及提示获取输出特征以对任务头进行调整。获取输出特征以对任务头进行调整。获取输出特征以对任务头进行调整。

【技术实现步骤摘要】
一种用于点云理解的调优系统及方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种用于点云理解的调优系统及方法。

技术介绍

[0002]目前3D通用大模型受到国内外越来越多的关注，其可被应用于自动驾驶、机器人等领域。在使用3D通用大模型时，通常需要一个微调和适配算法，以将通用模型的知识微调到具体的子任务中。
[0003]目前主流的微调方法有两种，一种是全调，一种是只调整任务头。其中全调的方法是指需要同时调整通用模型和任务头，这类方法的参数率利用低，且往往需要大量的训练样本。而只调整任务头的方法的精度通常会比较低。

技术实现思路

[0004]针对现有技术中的部分或全部问题，本专利技术一方面提供一种用于点云理解的调优系统，包括：
[0005]点云嵌入(point embed)模块，用于提取输入点云特征；
[0006]提示嵌入(prompt embed)模块，用于在线生成提示(Prompt)；以及
[0007]预训练模型，用于根据所述点云特征及提示获取特征以对任务头进行调整。
[0008]进一步地，所述提示嵌入模块包括多层感知机。
[0009]进一步地，所述预训练模型基于注意力机制，包括至少一层转换层(Transformer layer)。
[0010]进一步地，所述预训练模型结构及参数固定不变。
[0011]基于如前所述的调优系统，本专利技术另一方面提供一种用于点云理解的调优方法，包括：
[0012]通过点云嵌入模块提取点云特征；
[0013]通过提示嵌入模块生成提示；以及
[0014]将所述点云特征及提示输入预训练模型，以对任务头进行调整。
[0015]进一步地，通过提示嵌入模块生成提示包括：
[0016]将初始化值输入提示嵌入模块，得到提示。
[0017]进一步地，所述初始化值的生成包括：
[0018]将预训练模型运行到所有基于任务的训练数据集，以获取预训练特征；
[0019]将每个训练数据集的预训练特征在通道维度上进行最大池化操作，得到最大值；以及
[0020]计算所有训练数据集对应的最大值的均值，并将其作为初始化值。
[0021]进一步地，将所述点云特征及提示输入预训练模型以获得特征包括：
[0022]将所述点云特征与提示输入到第一层主干层，以得到第一输出特征；
[0023]将所述第一输出特征与提示输入到第二层主干层，以得到第二输出特征；
[0024]以此类推，直至将第N
‑
1输出特征与提示输入到第N层主干层，以得到最终的输出特征，其中，N为所述预训练模型中主干层的层数。
[0025]进一步地，所述调优方法还包括：
[0026]计算损失函数已优化所述提示嵌入模块和/或任务头。
[0027]此外，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据如前所述的方法的步骤。
[0028]本专利技术提供的一种用于点云理解的调优系统及方法，在现有的调优系统中增加了一个提示嵌入模块，以生成针对任务的提示，并与点云一起进行预训练。所述调优系统及方法进行预训练过程中，并不需要改变预训练模型的结构和参数，对于不同的任务，仅需要生成不同的提示，并对任务头进行微调即可，大大提高了预训练模型参数的利用率。
附图说明
[0029]为进一步阐明本专利技术的各实施例的以上和其它优点和特征，将参考附图来呈现本专利技术的各实施例的更具体的描述。可以理解，这些附图只描绘本专利技术的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
[0030]图1示出现有调优系统的结构示意图；
[0031]图2示出本专利技术一个实施例的一种用于点云理解的调优系统的结构示意图；以及
[0032]图3示出本专利技术一个实施例的一种用于点云理解的调优方法的流程示意图。
具体实施方式
[0033]以下的描述中，参考各实施例对本专利技术进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构或操作以免模糊本专利技术的专利技术点。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本专利技术的实施例的全面理解。然而，本专利技术并不限于这些特定细节。此外，应理解附图中示出的各实施例是说明性表示且不一定按正确比例绘制。
[0034]在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
[0035]需要说明的是，本专利技术的实施例以特定顺序对方法步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本专利技术的不同实施例中，可根据实际需求的调节来调整各步骤的先后顺序。
[0036]当前用于点云理解的微调方法主要包括全调(Full Tuning)和子集调优(Subset Tuning)。其中全调是指需要更新完整的预训练模型参数，也就是说其需要为每个下游任务复制和存储整个预训练模型参数，随着模型规模的增长，为每个下游任务存储和微调预训练模型会大大增加客户端或者用户端的负担，且参数的使用效率不高。而子集调优则是仅更新任务头或者模型偏差，其准确性较低。针对上述问题，本专利技术考虑将提示调优方法应用
于点云理解。其中，提示调优方法目前多应用于自然语言处理(Natural Language Processing,NLP)及2D图像识别任务中。其是在输入文本和/或二维图像中添加一系列标记，所述标记可被称为提示(Prompt)。所述提示调优方法仅在指定任务训练时更新所述提示及任务头，而不需要为每个任务幅值与训练模型，因此能够有效提高参数使用效率。但是，不同于NLP及2D图像，对于3D点云数据而言，其为描述结构的非结构化数据，因此，难以为期设计结构模板，这就使得其无法通过结构模板获取提示的初始化值，也难以预先设计并存储提示库。基于此，本专利技术提供了一种用于点云理解的调优系统及方法，其在现有的调优系统基础上，增加了一个提示嵌入模块(prompt embedded module)，以在线生成针对任务的特定元结构(meta
‑
structure)，并将其作为点云任务的提示。所述元结构可以作为指定任务微调的条件，例如最大化给定点云的对象分类标签的可能性。
[0037]下面结合实施例附图对本专利技术的方案作进一步描述。
[0038]图1示出现有调优系统的结构示意图。图中，灰色模块表示需要调整的模块或参数。如图1所示，现有的调优系统包括点云嵌入模块(point embed)101以及预训练模型102。其中，所述预训练模型102采用了基于注意力机制的结构Transfor本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于点云理解的调优系统，其特征在于，包括：点云嵌入模块，其被配置为提取输入点云特征；提示嵌入模块，其被配置为针对指定的下游任务在线生成提示；以及预训练模型，其被配置为根据所述点云特征及提示，获取输出特征以对下游任务的任务头进行调整。2.如权利要求1所述的调优系统，其特征在于，所述提示嵌入模块包括多层感知机。3.如权利要求1所述的调优系统，其特征在于，所述预训练模型基于注意力机制，且包括至少一层主干层。4.如权利要求1所述的调优系统，其特征在于，所述预训练模型结构及参数固定不变。5.一种用于点云理解的调优方法，其特征在于，基于如权利要求1至4任一所述的调优系统实现，且包括步骤：通过点云嵌入模块提取点云特征；针对指定的下游任务通过提示嵌入模块生成提示；以及将所述点云特征及提示输入预训练模型以获得输出特征，并将所述输出特征馈送至所述下游任务的任务头中。6.如权利要求5所述的调优方法，其特征在于，通过提示嵌入模块生成提示包括：将初始化值输入至提示嵌入模块，经过多层感知...

【专利技术属性】
技术研发人员：黄小水，曲文涛，左一帆，欧阳万里，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：