三维多目标跟踪方法、装置、设备、车辆及介质制造方法及图纸

本申请提供一种三维多目标跟踪方法、装置、设备、车辆及介质。在该方法中，通过对当前帧图像进行三维目标检测得到检测结果数据，对当前帧图像的前一帧图像中的航迹进行预测，得到预测数据。进而根据检测结果数据和预测数据，对实际航迹和高质量检测目标进行第一轮匹配，再对第一轮未匹配上的航迹和检测目标，以及预测航迹、低质量航迹进行第二轮匹配，最后根据第一轮和第二轮匹配上的航迹与检测目标，以及两轮均未匹配上的航迹与目标，确定出当前帧图像中的预测航迹与实际航迹，得到跟踪结果。本方案通过两轮匹配后，确定当前帧图像中的预测航迹与实际航迹，有效提高了使用普通相机拍摄的图像作为输入数据时的跟踪结果的准确性。确性。确性。

【技术实现步骤摘要】
三维多目标跟踪方法、装置、设备、车辆及介质


[0001]本申请涉及自动驾驶领域，尤其涉及一种三维多目标跟踪方法、装置、设备、车辆及介质。

技术介绍

[0002]随着科技的发展，目标跟踪技术应用的领域越来越广泛，目标跟踪的目标数量也由一个达到了多个。多目标跟踪方法可在一段视频序列中定位多个目标，对每个目标分配一个编码，并记录目标的航迹。
[0003]现有技术中，在自动驾驶领域，实现多目标跟踪可以为车辆驾驶提供更加精准的控制，三维多目标跟踪更是进一步提高了目标跟踪的准确度。现有技术中通常采用激光雷达采集的数据，作为三维多目标跟踪方法的输入数据，这是因为激光雷达数据可更好的反映目标与车辆之间的距离。然而，对于不具备激光雷达，只有普通光学相机的自动驾驶车辆，使用现有的三维多目标跟踪方法，会使得跟踪结果不准确。
[0004]综上所述，现有的三维多目标跟踪方法使用普通光学相机拍摄的图像作为输入数据时，会导致跟踪结果的准确性较低。

技术实现思路

[0005]本申请实施例提供一种三维多目标跟踪方法、装置、设备、车辆及介质，用于解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维多目标跟踪方法，其特征在于，包括：获取当前帧图像和当前车辆位置；根据所述当前车辆位置，对所述当前帧图像进行三维目标检测，得到检测结果数据，所述检测结果数据包括至少一个检测目标的置信度；对所述当前帧图像的前一帧图像对应的每个航迹进行卡尔曼预测，得到预测数据，所述航迹为预测航迹或实际航迹；根据每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标，所述高质量检测目标为置信度大于预设高质量置信度阈值的检测目标；根据所述当前车辆位置、每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有第二航迹、所有预测航迹、所有第二检测目标、所有低质量检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标，所述低质量检测目标为置信度小于或等于所述预设高质量置信度阈值的检测目标；根据所有第一航迹、所有第一检测目标、所有第三航迹、所有第三检测目标、所有第四航迹、所有第四检测目标，确定出所述当前帧图像对应的预测航迹和实际航迹，得到所述当前帧图像对应的跟踪结果。2.根据权利要求1所述的方法，其特征在于，所述预测数据包括在每个航迹在当前时刻位于世界坐标系下的第一位置数据，所述检测结果数据还包括每个检测目标的第二目标类型、每个检测目标在当前时刻位于世界坐标系下的第二位置数据，所述根据每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标，包括：根据所有实际航迹的第一位置数据、第一目标类型，以及所有高质量检测目标的第二位置数据、第二目标类型，确定出第一关联矩阵，所述第一关联矩阵中的每个元素值用于指示实际航迹与高质量检测目标的关联程度；根据所述第一关联矩阵和匈牙利方法，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标。3.根据权利要求2所述的方法，其特征在于，所述根据所有实际航迹的第一位置数据、第一目标类型，以及所有高质量检测目标的第二位置数据、第二目标类型，确定出第一关联矩阵，包括：对于每个实际航迹和每个高质量检测目标，根据所述实际航迹的第一位置数据和所述高质量检测目标的第二位置数据，判断所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离是否大于预设距离阈值；若所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离大于所述预设距离阈值，则将所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值确定为无穷大；若所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离小于或等于所
述预设距离阈值，则判断所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型是否相同；若所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型不相同，则将所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值确定为无穷大；若所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型相同，则判断所述高质量检测目标的第二目标类型是否为行人；若所述高质量检测目标的第二目标类型为行人，则获取所述实际航迹的行人重识别ReID特征向量，以及从所述检测结果数据中获取所述高质量检测目标的ReID特征向量；根据所述实际航迹的ReID特征向量、第一位置数据，以及所述高质量检测目标的ReID特征向量、第二位置数据，计算所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值；若所述高质量检测目标的第二目标类型不是行人，则根据所述实际航迹的第一位置数据、所述高质量检测目标的第二位置数据，计算交并比IoU距离，将所述IoU距离确定为所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值。4.根据权利要求3所述的方法，其特征在于，所述根据所述实际航迹的ReID特征向量、第一位置数据，以及所述高质量检测目标的ReID特征向量、第二位置数据，计算所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值，包括：计算所述实际航迹的ReID特征向量与所述高质量检测目标的ReID特征向量的第一余弦距离；根据所述实际航迹的第一位置数据，所述高质量检测目标的第二位置数据，计算IoU距离；根据所述第一余弦距离、所述IoU距离、预设权重，计算得到所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值。5.根据权利要求1所述的方法，其特征在于，所述预测数据包括在每个航迹在当前时刻位于世界坐标系下的第一位置数据，所述检测结果数据还包括每个检测目标的第二目标类型、每个检测目标在当前时刻位于世界坐标系下的第二位置数据，所述根据所述当前车辆位置、每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有第二航迹、所有预测航迹、所有第二检测目标、所有低质量检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标，包括：将每个第二航迹和每个预测航迹确定为第五航迹，将每个第二检测目标和每个低质量检测目标，确定为第五检测目标；根据所述当前车辆位置，所有第五航迹的第一位置数据、第一目标类型，以及所有第五检测目标的第二位置数据、第二目标类型，确定出第二关联矩阵，所述第二关联矩阵中的每个元素值用于指示第五航迹与第五检测目标的关联程度；根据所述第二关联矩阵和匈牙利方法，对所有第五航迹、所有第五检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标。6.根据权利要求5所述的方法，其特征在于，所述根据所述当前车辆位置，所有第五航迹的第一位置数据、第一目标类型，以及所有第五检测目标的第二位置数据、第二目标类型，确定出第二关联矩阵，包括：
对于每个第五航迹和每个第五检测目标，根据所述第五航迹的第一位置数据和所述第五检测目标的第二位置数据，判断所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离是否大于预设距离阈值；若所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离大于所述预设距离阈值，则将所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值确定为无穷大；若所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离小于或等于所述预设距离阈值，则判断所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型是否相同；若所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型不相同，则将所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值确定为无穷大；若所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型相同，则判断所述第五检测目标的第二目标类型是否为行人；若所述第五检测目标的第二目标类型为行人，则获取所述第五航迹的行人重识别ReID特征向量，以及从所述检测结果数据中获取所述第五检测目标的ReID特征向量；根据所述当前车辆位置，所述第五航迹的ReID特征向量、第一位置数据，以及所述第五检测目标的ReID特征向量、第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值；若所述第五检测目标的第二目标类型不是行人，则根据所述当前车辆位置、所述第五航迹的第一位置数据、所述第五检测目标的第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值。7.根据权利要求6所述的方法，其特征在于，所述根据所述当前车辆位置，所述第五航迹的ReID特征向量、第一位置数据，以及所述第五检测目标的ReI...

【专利技术属性】
技术研发人员：杜文涛，王庭琛，
申请(专利权)人：上海云骥跃动智能科技发展有限公司，
类型：发明
国别省市：