一种基于区域自注意力机制的三维点云单目标跟踪方法技术

本发明专利技术公开了一种基于区域自注意力机制的三维点云单目标跟踪方法，涉及目标跟踪领域；对输入的模板点云与搜索点云进行坐标变换，将点云序列体素化进行特征提取；使用3D稀疏卷积网络对进行三维提取，通过投影到2D的鸟瞰图，提取鸟瞰图特征；将鸟瞰图特征进行区域分割并作为Transformer的输入，在Transformer编码器中，对每个区域内的点云进行多头自注意力，获得区域内部点云的上下文信息；将每个区域中的点云特征聚合后，使用多头自注意力，获得区域之间的相互关系信息；在Transformer解码器中，通过交叉注意力机制将模板分支中的点云特征融合到搜索分支点云中，使点云特征获得增强；进行跟踪结果预测；以实现鲁棒的跟踪。以实现鲁棒的跟踪。以实现鲁棒的跟踪。

【技术实现步骤摘要】
一种基于区域自注意力机制的三维点云单目标跟踪方法


[0001]本专利技术涉及目标跟踪领域，尤其涉及一种基于区域自注意力机制的三维点云单目标跟踪方法。

技术介绍

[0002]目标跟踪作为感知领域
‘
四大
’
研究任务之一，在机器人视觉和无人驾驶领域有着重要的应用前景。通过逐帧连续预测目标位置，目标跟踪为下游应用提供了大量有用的信息，例如在无人驾驶汽车中，车辆需要实时跟踪道路中的其他车辆、行人或障碍物并获得跟踪位置，从而做出路径规划与控制决策。单目标跟踪是目标跟踪领域的分支之一，也具有十分重要的研究意义。
[0003]单目标跟踪的基本思路是给定跟踪目标，在搜索区域中获得与模板对应的跟踪目标的分类与回归预测。例如在自动跟随机器人中，机器人需要实时并鲁棒的跟随主人并定位主人的精确位置从而实现有效的跟踪。
[0004]根据使用传感器的不同，目标跟踪可以分为图像目标跟踪与点云目标跟踪。图像目标跟踪是通过相机获得RGB图像信息，并使用2D神经网络提取图像特征，最终获得跟踪目标的分类与预测；三维点云跟踪是使用三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区域自注意力机制的三维点云单目标跟踪方法，其特征在于，包括以下步骤：步骤1：将原始点云体素化，获得模板点云分支与搜索点云分支输入数据，并分别进行归一化操作；步骤2：对所述模板点云与搜索点云进行三维特征提取，通过二维转换后提取二维特征；步骤3：对所述二维特征进行特征增强；步骤4：基于中心的回归预测跟踪目标，获取每个类别的中心热力图、局部偏移、z轴位置和方向。2.如权利要求1所述的基于区域自注意力机制的三维点云单目标跟踪方法，其特征在于，所述模板点云分支输入数据为上一帧点云的目标点云，所述搜索点云分支的输入数据为当前帧的搜索域点云。3.如权利要求1所述的基于区域自注意力机制的三维点云单目标跟踪方法，所述步骤1具体包括以下步骤，步骤1.1：获取模板点云分支与搜索点云分支的输入数据；步骤1.2：对所述搜索点云分支的输入数据进行坐标变换，获得搜索点云分支的训练标签值；步骤1.3：将相同的3D范围应用于两个分支以获得一对输入，对两分支3D范围内点云进行体素化处理，即将原始点云数据转化为空间分辨率大小为W
×
L
×
H的规范体素，并获得输入I∈R
W
×
L
×
H
。4.如权利要求1所述的基于区域自注意力机制的三维点云单目标跟踪方法，所述坐标变换，具体为：将点云坐标从以整个场景为中心的全局坐标系转换为以目标框为中心的局部坐标系，通过随机移动3D目标框的中心点坐标来获得搜索分支的训练标签值。5.如权利要求1所述的基于区域自注意力机制的三维点云单目标跟踪方法，所述步骤2具体包括...

【专利技术属性】
技术研发人员：方正，李硕，崔宇波，李智恒，林雨，
申请(专利权)人：东北大学，
类型：发明
国别省市：