【技术实现步骤摘要】
本专利技术属于人工智能与计算机视觉中的三维视觉感知，具体涉及一种跨模态蒸馏的lidar点云跟踪方法。
技术介绍
1、视觉感知正在历经一场从2d到3d的技术跃迁。激光雷达(lidar)的三维目标跟踪是智能化过程中理解与感知复杂动态场景的最重要任务之一，其在室内外场景感知中起着重要作用。国内多家企业在该领域赛道迅速崛起，如北醒光子、镭神智能和图达通等，其广泛应用于轨道交通、民航交通、道路交通以及机器人等智能终端或平台。基于lidar的目标跟踪感知技术贴合国家和行业智能化发展要求，旨在连续帧中准确感知目标状态，是智能系统中关键环节之一。
2、随着自动驾驶、无人机以及机器人等智能终端的发展，基于深度学习的点云单目标跟踪方法吸引了行业注意。研究者们结合稀疏卷积、transformer、图网络、几何尺寸先验或者鸟瞰图等技术，在点云跟踪的性能上获得了较好表现。当前，这些跟踪方法将孪生网络作为主要框架，以目标模板和搜索区域作为输入，其主要关注于常规物体(如车辆和行人等)。然而，在实际场景中点云分布发生变化时会使目标跟踪失败，例如测试阶段目标发生碰撞变形、新类别物体闯入和复杂天气干扰等(见图1)。其背后的主要原因为：应用环境中的罕见类别与场景情形层出不穷，要求线下数据的收集过程去涵盖所有可能的情形成本高、挑战大；并且当前视觉跟踪方法局限于在一类物体上训练一个特定模型。本质上，未观测场景可以看作相对于已观测物体的分布域外数据。因此，本专利技术将其看作域泛化问题，并基于已观测的数据来训练模型，使其在测试阶段能够适用于点云分布变化的目标跟踪
3、此外，现实世界扫描的目标点云往往是稀疏和视角运动的，其随着时空推移在场景中的视角和稀疏程度也会改变。目标模板作为跟踪过程中的重要线索，其与待跟踪帧进行特征关系建模时未被充分刻画。即当前跟踪方法目标模板构建单一，未充分考虑目标出现的多种情况。不同与此，本专利技术设计不受形状扰动或变换影响的鲁棒嵌入策略，进而为后续准确状态回归做好铺垫。
4、综上，当前目标跟踪方法存在如下几个问题：(1)当前跟踪方法为一类目标训练一个特定模型，应对多种环境变化乏力，其孪生结构的表示未被充分挖掘；(2)在将跟踪线索(模板)嵌入搜索区域时，只利用固定模板，忽略时序变化的关系建模，为充分考虑目标出现的多种稀疏变化和视角运动。
5、公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的在于提供一种跨模态蒸馏的lidar点云跟踪方法，其面向激光雷达lidar传感器获取的三维点云视觉数据，围绕实际场景中发生点云分布变化情形，从目标感知特征表示和目标状态估计两方面出发，旨在解决当前点云跟踪方法在域泛化和关系建模不足问题，促进在实际场景中的可靠感知，切实符合技术创新和行业发展要求。
2、为了实现上述目的，本专利技术一具体实施例提供的技术方案如下：
3、一种跨模态蒸馏的lidar点云跟踪方法，包括以下步骤：
4、步骤s1：使用前置重建任务将预训练二维图像视觉模型调优到点云模态，以适应点云特征空间；
5、步骤s2：将调整过后的模型作为教师网络，指导点云掩膜编码模块的特征蒸馏；
6、步骤s3：得到不同视角和稀疏下的模板特征，生成自适应模板；
7、步骤s4：将步骤s3生成的模板特征与步骤s2生成的搜索区域特征拼接，送入自注意力机制中，产生候选物体中心特征，之后回归出各自的置信分数、三维包围盒中心点坐标以及偏航角。
8、在本专利技术的一个或多个实施例中，所述步骤s1为图像到点云调优模块，所述图像到点云调优模块，利用图像到点云调优模块将预训练模型微调，以适应点云特征空间。
9、在本专利技术的一个或多个实施例中，所述步骤s1的具体实施方法是：
10、s1-1：将点云进行噪声增强，下采样关键点作为token，提取初步token特征h0，将其与一组可学习的prompts特征pl相拼接并送入预训练的图像模型f；
11、s1-2：在把特征送入每一层之前，将其与一组可学习的prompts特征pl相拼接；其中，pl表示预训练图像模型的第l层；
12、s1-3：基于得到的调优特征hl，采用自监督方式来预测出噪声点云的位移向量vdenoise，将该向量作用至噪声点云，然后将其与对应的干净点云作对比损失；损失函数如下：其中dchamfer为刻画点集之间chamfer距离，q和分别为干净点云和噪声增强后的点云；
13、s1-4：使用损失函数的反馈来使特征适应点云，构建出教师网络。
14、通过采用自监督和prompts调优的方式来消除了不同模态之间的分布差异，有效避免潜在的负迁移。
15、在本专利技术的一个或多个实施例中，所述步骤s2为点云掩膜编码模块，所述点云掩膜编码模块将调整过后的模型作为教师网络，指导点云掩膜编码模块的特征蒸馏。
16、在本专利技术的一个或多个实施例中，所述s2的具体实施方法是：
17、s2-1：将输入的模板和搜索区域的点云拼接并记为q，并分别送至教师网络和学生网络中；
18、s2-2：将q采样种子点并提取初始特征f，作为token输入；然后，对所有token随机生成其对应的掩膜，将未被掩膜遮盖的token送入点云transformer的编码器中，得到特征gencoder(f)，而已被掩膜遮盖的tokens被一组可学习的特征w替代，并与特征gencoder(f)拼接后送入解码器。最终得到学生网络的输出特征，整个过程可表示为：
19、s2-3：计算步骤s1输出的教师网络特征与学生网络输出的特征之间的余弦相似度，并用其进行蒸馏约束，指导点云掩膜编码模块的特征蒸馏。
20、通过步骤s1过程的调优，预训练图像transformer的特征表示被转换到3d特征空间，步骤s2将其作为跨模态教师网络来指导跟踪过程；不同于以往的双流孪生网络，本专利技术将输入的模板和搜索区域的点云拼接，记为q，利用后续transform的自注意力自动交互融合二者特征。
21、在本专利技术的一个或多个实施例中，所述s3为自适应模板生成，所述自适应模板生成拟设计基于几何外观变化的多模板学习策略，对不同的残缺和稀疏情况分而治之。
22、在本专利技术的一个或多个实施例中，所述s3的具体实施方法是：
23、s3-1：对不同的anchor按鸟瞰图旋转或最远点采样，得到不同视角和稀疏下的anchor模板特征fp，再将其进行稠密化来感知空间信息，并将其转变为鸟瞰图视角特征
24、s3-2：将步骤s3-1获得的每个模板送入mlp生成embeddings，记为
25、s3-3：引入一致性损失lconsistency和多样性损失ldiversity，用来保证训练过程中的语义一本文档来自技高网...
【技术保护点】
1.一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述步骤S1为图像到点云调优模块，所述图像到点云调优模块，利用图像到点云调优模块将预训练模型微调，以适应点云特征空间。
3.根据权利要求2所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述步骤S1的具体实施方法是：
4.根据权利要求1所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述步骤S2为点云掩膜编码模块，所述点云掩膜编码模块将调整过后的模型作为教师网络，指导点云掩膜编码模块的特征蒸馏。
5.根据权利要求4所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述S2的具体实施方法是：
6.根据权利要求1所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述S3为自适应模板生成，所述自适应模板生成拟设计基于几何外观变化的多模板学习策略，对不同的残缺和稀疏情况分而治之。
7.根据权利要求6所述的一种跨模态蒸馏的LiDAR点云跟
8.根据权利要求1所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述S4是自注意力机制关系建模，所述自注意力机制关系建模中Transformer能突破位置限制能够在上下文建立远距离关系，是一个多头注意力的方法，其目标就是从全局中找出感兴趣的实例个体。
9.根据权利要求1所述的一种跨模态蒸馏的LiDAR点云跟踪方法，其特征在于，所述S4的具体实施方法是：
...【技术特征摘要】
1.一种跨模态蒸馏的lidar点云跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种跨模态蒸馏的lidar点云跟踪方法，其特征在于，所述步骤s1为图像到点云调优模块，所述图像到点云调优模块，利用图像到点云调优模块将预训练模型微调，以适应点云特征空间。
3.根据权利要求2所述的一种跨模态蒸馏的lidar点云跟踪方法，其特征在于，所述步骤s1的具体实施方法是：
4.根据权利要求1所述的一种跨模态蒸馏的lidar点云跟踪方法，其特征在于，所述步骤s2为点云掩膜编码模块，所述点云掩膜编码模块将调整过后的模型作为教师网络，指导点云掩膜编码模块的特征蒸馏。
5.根据权利要求4所述的一种跨模态蒸馏的lidar点云跟踪方法，其特征在于，所述s2的具体实施方法是...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。