LiDAR点云中的3D多对象跟踪的系统和方法技术方案

本发明专利技术提供了一种多对象跟踪的方法、装置及电子设备，其中，该方法包括：确定当前点云片段的混合时间位置图；将先前点云片段的跟踪位置图转换为当前点云片段的临时跟踪位置图；对当前点云片段的混合时间位置图和临时跟踪位置图进行平均处理，生成当前点云片段的跟踪位置图。本发明专利技术实施例提供的多对象跟踪的方法、装置及电子设备，通过对当前点云片段的混合时间位置图和临时跟踪位置图进行平均处理，不仅可以准确生成当前点云片段的跟踪位置图，还能够实现继承对象ID，基于该对象ID可以关联不同点云片段中的同一个对象，不需要传统方案中的关联步骤即可实现多对象跟踪。不需要额外设置超参数，具有更强的通用性。具有更强的通用性。具有更强的通用性。

【技术实现步骤摘要】
LiDAR点云中的3D多对象跟踪的系统和方法


[0001]本专利技术涉及对象跟踪
，具体而言，涉及一种3D多对象跟踪的方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近年来，随着自动驾驶车辆的快速发展，基于激光雷达(LiDAR)的跟踪已在学术界和工业界都引起了越来越多的关注。其中，LiDAR点云中的3D多对象跟踪(multi
‑
object tracking)是自动驾驶中的关键技术。
[0003]目前的多对象跟踪方法大多数遵循检测跟踪流程(tracking
‑
by
‑
detection pipeline)，也称为检测后跟踪(tracking after detection)；该方法首先检测单个帧的对象，然后随时间关联检测集合，即通过关联步骤匹配不同帧检测到的对象，以实现对象跟踪。大多数现有工作集中在更好地定义关联步骤所需的亲和矩阵(affinity matrix)，导致关联步骤越来越复杂，难以应用到自动驾驶场景中。

技术实现思路

[0004]为解决现有的对象跟踪方案处理复杂的技术问题，本专利技术实施例提供一种多对象跟踪的方法、装置、电子设备及计算机可读存储介质。
[0005]第一方面，本专利技术实施例提供了一种多对象跟踪的方法，包括：
[0006]确定当前点云片段的混合时间位置图，所述混合时间位置图用于表示所述当前点云片段中有效对象的首次出现位置，所述有效对象为所述当前点云片段中除失效对象之外的其他对象；
[0007]根据预测的运动场和本地设备的自我运动将先前点云片段的跟踪位置图转换为所述当前点云片段的临时跟踪位置图；所述先前点云片段为在所述当前点云片段之前的点云片段，且所述先前点云片段与所述当前点云片段的部分点云数据相同，所述跟踪位置图中包含每个对象的位置信息以及对象标识；
[0008]对所述当前点云片段的混合时间位置图和所述临时跟踪位置图进行平均处理，生成所述当前点云片段的跟踪位置图，且所述当前点云片段的跟踪位置图继承所述先前点云片段的跟踪位置图中的所述对象标识。
[0009]在一种可能的实现方式中，所述确定当前点云片段的混合时间位置图包括：
[0010]基于预设的骨干网络，将当前点云片段转换为相应的混合时间位置图；所述混合时间位置图包含所述当前点云片段中有效对象的首次出现位置的置信度；
[0011]所述跟踪位置图中的所述位置信息表示所述对象在相应位置处的置信度。
[0012]在一种可能的实现方式中，在所述确定当前点云片段的混合时间位置图之前，该方法还包括：
[0013]根据多个连续的点云数据生成多个样本点云片段，所述样本点云片段与相邻的其他样本点云片段的部分点云数据相同；
[0014]确定所述样本点云片段中每个有效对象的首次出现位置，并生成包含所述样本点云片段中每个有效对象的首次出现位置的样本混合时间位置图；
[0015]根据所述样本点云片段和所述样本混合时间位置图训练得到所述骨干网络。
[0016]在一种可能的实现方式中，该方法还包括：
[0017]基于所述骨干网络确定所述运动场，所述运动场用于表示所述当前点云片段中对象的运动参数。
[0018]在一种可能的实现方式中，该方法还包括：
[0019]在所述当前点云片段的跟踪位置图中存在新生对象的情况下，为所述新生对象添加相应的对象标识。
[0020]在一种可能的实现方式中，所述根据预测的运动场和本地设备的自我运动将先前点云片段的跟踪位置图转换为所述当前点云片段的临时跟踪位置图，包括：
[0021]根据所述先前点云片段的运动场更新所述先前点云片段的跟踪位置图中每个对象的位置信息，以生成第一跟踪位置图；根据所述当前点云片段的自我运动更新所述第一跟踪位置图中每个对象的位置信息，以生成所述临时跟踪位置图；或者
[0022]根据所述当前点云片段的运动场和自我运动中的一种，更新所述先前点云片段的跟踪位置图中每个对象的位置信息，以生成第二跟踪位置图；根据所述当前点云片段的运动场和自我运动中的另一种，更新所述第二跟踪位置图中每个对象的位置信息，以生成所述临时跟踪位置图。
[0023]在一种可能的实现方式中，该方法还包括：
[0024]基于所述当前点云片段的跟踪位置图实现多对象跟踪；或者
[0025]基于所述第一跟踪位置图或所述第二跟踪位置图实现多对象跟踪。
[0026]在一种可能的实现方式中，所述对所述当前点云片段的混合时间位置图和所述临时跟踪位置图进行平均处理，生成所述当前点云片段的跟踪位置图，包括：
[0027]对所述当前点云片段的混合时间位置图和所述临时跟踪位置图进行平均处理，对平均处理的结果执行非极大值抑制操作，生成所述当前点云片段的跟踪位置图。
[0028]在一种可能的实现方式中，所述有效对象的首次出现位置为所述有效对象的中心的首次出现位置；
[0029]所述位置信息为相应对象的中心的位置信息。
[0030]在一种可能的实现方式中，所述先前点云片段的最后一帧的点云数据与所述当前点云片段的第一帧的点云数据相同。
[0031]第二方面，本专利技术实施例还提供了一种多对象跟踪的装置，包括：
[0032]混合时间位置图确定模块，用于确定当前点云片段的混合时间位置图，所述混合时间位置图用于表示所述当前点云片段中有效对象的首次出现位置，所述有效对象为所述当前点云片段中除失效对象之外的其他对象；
[0033]运动转换模块，用于根据预测的运动场和本地设备的自我运动将先前点云片段的跟踪位置图转换为所述当前点云片段的临时跟踪位置图；所述先前点云片段为在所述当前点云片段之前的点云片段，且所述先前点云片段与所述当前点云片段的部分点云数据相同，所述跟踪位置图中包含每个对象的位置信息以及对象标识；
[0034]跟踪位置图确定模块，用于对所述当前点云片段的混合时间位置图和所述临时跟
踪位置图进行平均处理，生成所述当前点云片段的跟踪位置图，且所述当前点云片段的跟踪位置图继承所述先前点云片段的跟踪位置图中的所述对象标识。
[0035]第三方面，本专利技术实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的多对象跟踪的方法中的步骤。
[0036]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的多对象跟踪的方法中的步骤。
[0037]本专利技术实施例提供的多对象跟踪的方法、装置、电子设备及计算机可读存储介质，通过对当前点云片段的混合时间位置图和临时跟踪位置图进行平均处理，不仅可以准确生成当前点云片段的跟踪位置图，还能够实现继承对象ID，基于该对象ID可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多对象跟踪的方法，其特征在于，包括：确定当前点云片段的混合时间位置图，所述混合时间位置图用于表示所述当前点云片段中有效对象的首次出现位置，所述有效对象为所述当前点云片段中除失效对象之外的其他对象；根据预测的运动场和本地设备的自我运动将先前点云片段的跟踪位置图转换为所述当前点云片段的临时跟踪位置图；所述先前点云片段为在所述当前点云片段之前的点云片段，且所述先前点云片段与所述当前点云片段的部分点云数据相同，所述跟踪位置图中包含每个对象的位置信息以及对象标识；对所述当前点云片段的混合时间位置图和所述临时跟踪位置图进行平均处理，生成所述当前点云片段的跟踪位置图，且所述当前点云片段的跟踪位置图继承所述先前点云片段的跟踪位置图中的所述对象标识。2.根据权利要求1所述的方法，其特征在于，所述确定当前点云片段的混合时间位置图包括：基于预设的骨干网络，将当前点云片段转换为相应的混合时间位置图；所述混合时间位置图包含所述当前点云片段中有效对象的首次出现位置的置信度；所述跟踪位置图中的所述位置信息表示所述对象在相应位置处的置信度。3.根据权利要求2所述的方法，其特征在于，在所述确定当前点云片段的混合时间位置图之前，还包括：根据多个连续的点云数据生成多个样本点云片段，所述样本点云片段与相邻的其他样本点云片段的部分点云数据相同；确定所述样本点云片段中每个有效对象的首次出现位置，并生成包含所述样本点云片段中每个有效对象的首次出现位置的样本混合时间位置图；根据所述样本点云片段和所述样本混合时间位置图训练得到所述骨干网络。4.根据权利要求2所述的方法，其特征在于，还包括：基于所述骨干网络确定所述运动场，所述运动场用于表示所述当前点云片段中对象的运动参数。5.根据权利要求1所述的方法，其特征在于，还包括：在所述当前点云片段的跟踪位置图中存在新生对象的情况下，为所述新生对象添加相应的对象标识。6.根据权利要求1所述的方法，其特征在于，所述根据预测的运动场和本地设备的自我运动将先前点云片段的跟踪位置图转换为所述当前点云片段的临时跟踪位置图，包括：根据所述先前点云片段的运动场更新所述先前点云片段的跟踪位置图中每个对象的位置信息，以生成第一跟踪位置图；根据所述当前点云片段的自我运动更新所述第一跟踪位置图中每个对象的位置信息，以生成所述临时跟踪位置图；或者根据所述当前点云片段的运动场和自我运动中的一种，更新所述先前点云片段的跟踪位置图中每个对...

【专利技术属性】
技术研发人员：杨晓东，罗晨旭，
申请(专利权)人：北京轻舟智航科技有限公司，
类型：发明
国别省市：