一种多目标跟踪方法、设备及介质技术

本申请实施例公开了一种多目标跟踪方法、设备及介质。获取检测目标对应的图像与轨迹目标对应的图像之间的特征关联度，并基于特征关联度建立第一关联代价矩阵；获取当前帧跟踪轨迹预测框坐标位置信息，并基于跟踪轨迹预测框坐标位置信息和检测框坐标位置信息建立第二关联代价矩阵；基于第一关联代价矩阵、第二关联代价矩阵，对检测目标与状态确定的轨迹目标进行级联匹配，得到级联匹配集合、未匹配的轨迹目标和未匹配的检测目标；基于未匹配的轨迹目标与未匹配的检测目标，进行IOU匹配，得到IOU匹配集合，以根据级联匹配集合与IOU匹配集合实现多目标追踪。通过上述方法，提高检测目标和跟踪目标之间的关联准确率。标和跟踪目标之间的关联准确率。标和跟踪目标之间的关联准确率。

【技术实现步骤摘要】
一种多目标跟踪方法、设备及介质


[0001]本申请涉及目标检测
，尤其涉及一种多目标跟踪方法、设备及介 质。

技术介绍

[0002]多目标跟踪是自动驾驶领域的一个重要研究课题。目标跟踪是以目标检测 为基础，对目标的运动状态进行连续估计，解决传感器检测性能不稳定问题。 并为智能车辆的决策、控制、执行等模块提供连续时刻的目标检测信息，通过 精准和有效的跟踪，自主车辆可以获知视野内车辆的速度并做出相应的运动规 划。
[0003]目前的跟踪算法单纯依赖图像的外观信息或激光雷达的三维位置信息，独 立对目标进行追踪，跟踪精度较低。并且由于车辆行驶过程中会遇到目标车辆 被遮挡的现场，从而导致跟踪目标ID频繁切换，以致检测目标和跟踪目标之 间的关联准确率较低。

技术实现思路

[0004]本申请实施例提供了一种多目标跟踪方法、设备及介质，用于解决如下技 术问题：车辆行驶过程中会遇到目标车辆被遮挡的现场，从而导致跟踪目标ID 频繁切换，以致检测目标和跟踪目标之间的关联准确率较低。
[0005]本申请实施例采用下述技术方案：
[0006]本申请实施例提供一种多目标跟踪方法。包括，将当前帧检测目标对应的 图像输入预设深度特征描述器中，以获取检测目标对应的图像与轨迹目标对应 的图像之间的特征关联度，并基于特征关联度建立第一关联代价矩阵；根据上 一帧跟踪轨迹框坐标位置信息与卡尔曼滤波器，获取当前帧跟踪轨迹预测框坐 标位置信息，并基于跟踪轨迹预测框坐标位置信息和检测框坐标位置信息建立 第二关联代价矩阵；基于第一关联代价矩阵、第二关联代价矩阵，对检测目标 与状态确定的轨迹目标进行级联匹配，得到级联匹配集合、未匹配的轨迹目标 和未匹配的检测目标；基于未匹配的轨迹目标与未匹配的检测目标，进行IOU 匹配，得到IOU匹配集合，以根据级联匹配集合与IOU匹配集合实现多目标 追踪。
[0007]本申请实施例通过多模态信息的输入，利用图像的外观特征和点云的三维 位置信息来提高检测目标和跟踪目标之间的匹配准确率。对于目标长时间的遮 挡问题，本申请实施例使用基于外观特征的余弦距离完成对目标运动状态关联， 当遇到外观相似的车辆时，基于三维运动状态信息的马氏距离完成对目标运动 状态关联，将两种度量方式结合起来，能够有效避免当一种情况失效时的误检、 漏检等问题的发生，有效减少因遮挡问题带来的跟踪目标ID切换频繁的问题。 此外，本申请实施例通过两级匹配算法，尽可能提高检测目标序列和跟踪目标 序列之间的匹配效率，减少漏匹配现象的出现。
[0008]在本申请的一种实现方式中，基于第一关联代价矩阵、第二关联代价矩阵， 对检测目标与状态确定的轨迹目标进行级联匹配，得到级联匹配集合、未匹配 的轨迹目标和未匹配的检测目标，具体包括：将多个检测目标初始化为未匹配 的目标集合，以及将多个轨迹目标初始化为轨迹集合；基于未匹配的目标集合 分别对应的第一关联代价矩阵与第二
关联代价矩阵、轨迹集合以及预设最大丢 失帧数，进行级联匹配，得到初始匹配集合、未匹配的轨迹目标和未匹配的检 测目标。
[0009]在本申请的一种实现方式中，基于未匹配的目标集合的第一关联代价矩阵 与第二关联代价矩阵、轨迹集合以及预设最大丢失帧数，进行级联匹配，得到 初始匹配集合、未匹配的轨迹目标和未匹配的检测目标，具体包括：确定轨迹 集合中丢失帧数为0的第一子轨迹集合，将第一子轨迹集合、未匹配的目标集 合的第一关联代价矩阵与第二关联代价矩阵作为匈牙利算法的输入，以得到第 一匹配集合与第一未匹配的目标集合；确定轨迹集合中丢失帧数为K的第二子 轨迹集合，将第二子轨迹集合、第一未匹配的目标集合的第一关联代价矩阵与 第二关联代价矩阵作为匈牙利算法的输入，以得到第二匹配集合与第二未匹配 的目标集合；逐渐增大K值，直到K的值达到预设最大丢失帧数，确定预设 最大丢失帧数对应的未匹配的轨迹目标与未匹配的检测目标；将不同丢失帧数 分别对应的匹配集合，作为初始匹配集合。
[0010]在本申请的一种实现方式中，基于第一关联代价矩阵、第二关联代价矩阵， 对检测目标与状态确定的轨迹目标进行级联匹配之前，方法还包括：获取轨迹 目标被检测到的次数，在次数大于预设次数阈值时，将轨迹目标划分为确定的 轨迹目标，以对确定的轨迹目标进行级联匹配；获取未匹配的轨迹目标，以对 未匹配的轨迹目标进行IOU匹配。
[0011]在本申请的一种实现方式中，基于未匹配的轨迹目标与未匹配的检测目标， 进行IOU匹配，得到IOU匹配集合，具体包括：基于未匹配的轨迹目标与未 匹配的检测目标，建立IOU关联矩阵；将IOU关联矩阵作为匈牙利算法的输 入，以得到未匹配的轨迹目标分别与未匹配的检测目标之间的匹配关系。
[0012]本申请实施例通过马氏距离和余弦距离计算得到检测目标和轨迹目标的 代价关联矩阵，将代价关联矩阵作为匈牙利算法的输入，算法输出为检测目标 和轨迹目标之间的最优匹配关系，从而完成了前后帧之间的目标匹配问题。本 申请实施例通过两级匹配算法，尽可能提高检测目标序列和跟踪目标序列之间 的匹配效率，减少漏匹配现象的出现。
[0013]在本申请的一种实现方式中，根据上一帧跟踪轨迹框坐标位置信息与卡尔 曼滤波器，获取当前帧跟踪轨迹预测框坐标位置信息，具体包括：通过卡尔曼 滤波器中的预测模型与上一帧跟踪轨迹对应的状态向量，得到当前帧跟踪轨迹 对应的预测状态向量；通过预设传感器获取跟踪轨迹对应的测量噪声；通过卡 尔曼滤波器中的测量模型与测量噪声，对预测状态向量进行更新，得到当前帧 跟踪轨迹对应的最终状态向量。
[0014]在本申请的一种实现方式中，基于预测框坐标位置信息和检测框坐标位置 信息建立第二关联代价矩阵，具体包括：根据三维点云信息，获取当前帧检测 目标对应的检测框坐标位置信息；对当前帧检测目标对应的检测框坐标位置信 息，基于当前帧检测目标对应的检测框坐标位置信息，与当前帧图像跟踪轨迹 对应的预测框坐标位置信息之间的马氏距离，建立第二关联代价矩阵。
[0015]在本申请的一种实现方式中，将当前帧检测目标对应的图像输入预设深度 特征描述器中之前，方法还包括：基于每一个轨迹目标建立相应的跟踪目标管 理器；通过跟踪目标管理器对不同的轨迹目标进行轨迹信息记录；其中，轨迹 信息至少包括轨迹目标的运动状态信息、轨迹目标的特征信息、轨迹目标的状 态信息以及轨迹目标的状态参数信息中的一项。
[0016]本申请实施例提供一种多目标跟踪设备，包括：至少一个处理器；以及，
[0017]与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个 处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够： 将当前帧检测目标对应的图像输入预设深度特征描述器中，以获取检测目标对 应的图像与轨迹目标对应的图像之间的特征关联度，并基于特征关联度建立第 一关联代价矩阵；根据上一帧跟踪轨迹框坐标位置信息与卡尔曼滤波器，获 取当前帧跟踪轨迹预测框坐标位置信息，并基于跟踪轨迹预测框坐标位置信息 和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，所述方法包括：将当前帧检测目标对应的图像输入预设深度特征描述器中，以获取所述检测目标对应的图像与轨迹目标对应的图像之间的特征关联度，并基于所述特征关联度建立第一关联代价矩阵；根据上一帧跟踪轨迹框坐标位置信息与卡尔曼滤波器，获取当前帧跟踪轨迹预测框坐标位置信息，并基于所述跟踪轨迹预测框和检测框坐标位置信息建立第二关联代价矩阵；基于所述第一关联代价矩阵、所述第二关联代价矩阵，对检测目标与状态确定的轨迹目标进行级联匹配，得到级联匹配集合、未匹配的轨迹目标和未匹配的检测目标；基于未匹配的轨迹目标与未匹配的检测目标，进行IOU匹配，得到IOU匹配集合，以根据所述级联匹配集合与所述IOU匹配集合实现多目标追踪。2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述基于所述第一关联代价矩阵、所述第二关联代价矩阵，对检测目标与状态确定的轨迹目标进行级联匹配，得到级联匹配集合、未匹配的轨迹目标和未匹配的检测目标，具体包括：将多个所述检测目标初始化为未匹配的目标集合，以及将多个所述轨迹目标初始化为轨迹集合；基于所述未匹配的目标集合的第一关联代价矩阵与第二关联代价矩阵、所述轨迹集合以及预设最大丢失帧数，进行级联匹配，得到初始匹配集合、未匹配的轨迹目标和未匹配的检测目标。3.根据权利要求2所述的一种多目标跟踪方法，其特征在于，所述基于所述未匹配的目标集合的第一关联代价矩阵与第二关联代价矩阵、所述轨迹集合以及预设最大丢失帧数，进行级联匹配，得到初始匹配集合、未匹配的轨迹目标和未匹配的检测目标，具体包括：确定所述轨迹集合中丢失帧数为0的第一子轨迹集合，将所述第一子轨迹集合、所述未匹配的目标集合的第一关联代价矩阵与第二关联代价矩阵作为匈牙利算法的输入，以得到第一匹配集合与第一未匹配的目标集合；以及确定轨迹集合中丢失帧数为K的第二子轨迹集合，将所述第二子轨迹集合、所述第一未匹配的目标集合的第一关联代价矩阵与第二关联代价矩阵作为匈牙利算法的输入，以得到第二匹配集合与第二未匹配的目标集合；逐渐增大K值，直到K的值达到所述预设最大丢失帧数，确定所述预设最大丢失帧数对应的未匹配的轨迹目标与未匹配的检测目标；将不同丢失帧数分别对应的匹配集合，作为所述初始匹配集合。4.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述基于所述第一关联代价矩阵、所述第二关联代价矩阵，对检测目标与状态确定的轨迹目标进行级联匹配之前，所述方法还包括：获取所述轨迹目标被检测到的次数，在所述次数大于预设次数阈值时，将所述轨迹目标划分为确定的轨迹目标，以对所述确定的轨迹目标进行级联匹配；获取未匹配的轨迹目标，以对所述未匹配的轨迹目标进行IOU匹配。5.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述基于未匹配的轨迹目标与未匹配的检测目标，进行IOU匹配，得到IOU匹配集合，具体包括：基于所述未匹配的轨迹目标与所述未匹配的检测目标，建立IOU关联矩阵；将所述IOU关联矩阵作为匈牙利算法的输入，以得到所述未匹配的轨迹目标与所述未
匹配的检测目标之间的匹配关系。6.根据权利要求1所述的一种多...

【专利技术属性】
技术研发人员：姚诚达，
申请(专利权)人：山东汇创信息技术有限公司，
类型：发明
国别省市：