目标跟踪方法、系统及电子设备技术方案

本申请提供目标跟踪方法、系统及电子设备，涉及计算机视觉处理领域，该目标跟踪方法包括：获取待处理数据的当前帧中的检测框和跟踪框；将检测框与跟踪框进行匹配，并获取第一匹配结果；判断第一匹配结果是否为匹配失败；若第一匹配结果为匹配失败，则对重识别网络模型进行低比特量化，以获得量化后重识别网络模型；将检测框和跟踪框输入量化后重识别网络模型，以再次匹配检测框和跟踪框，并获取第二匹配结果；若第二匹配结果为匹配成功，则将检测框的目标轨迹加入跟踪轨迹。使用本申请实施例提供的目标跟踪方法不但能够提高目标跟踪的匹配精度，还能够降低匹配的计算耗时。还能够降低匹配的计算耗时。还能够降低匹配的计算耗时。

【技术实现步骤摘要】
目标跟踪方法、系统及电子设备
[0001]本申请涉及计算机视觉处理领域，具体而言，涉及一种目标跟踪方法、系统及电子设备。

技术介绍

[0002]多目标追踪主要解决的问题是对视频中每一帧画面里标定或想要追踪的目标进行检测并获取在图像中的位置，对每个目标分配一个id，在目标运动过程中，维持每个目标的id保持不变。在多目标追踪问题中，目标追踪算法需要对视频中每帧图像里的所有目标进行检测，将检测到的新目标与已经分配轨迹的目标进行匹配，如果匹配成功，将归类于已有轨迹的目标中；对没有匹配成功的目标，将其归类为新出现的目标，需要分配一个新的id，对于离开视频区域的目标，将不再对其进行轨迹追踪，并在已有轨迹的集合中将其删除。
[0003]目前，对于目标轨迹的跟踪大多是使用交并比计算代价矩阵并通过匈牙利匹配算法获取当前帧检测框与跟踪轨迹匹配结果的3D多目标跟踪算法，但该方法存在缺乏实例语义信息的问题。
[0004]现有的目标轨迹跟踪方法中，虽然存在将图像语义信息引入的目标轨迹跟踪方法的方案，但现有的引入目标图像语义信息的目标轨迹跟踪方法使轨迹跟踪的推理速度明显降低，导致该方法定的实时性较差。另外地，也有一些基于深度学习的3D多目标跟踪算法被提出，但其内存占用大，轨迹跟踪的推理速度慢。

技术实现思路

[0005]本申请实施例的目的在于提供一种目标跟踪方法、系统及电子设备，该目标跟踪方法第一次将3D检测框和3D跟踪框进行匹配；若配3D检测框未跟踪上，那么将3D检测框投影至多摄像机得到2D检测框后；进一步地，使用低比特量化后的重识别网络计算第二次匹配的代价矩阵，再次进行匹配，获得匹配结果；不但能够提高目标跟踪的匹配精度，还能够降低匹配的计算耗时。
[0006]第一方面，本申请实施例提供一种目标跟踪方法，该目标跟踪方法包括：获取待处理数据的当前帧中的检测框和跟踪框；将检测框与跟踪框进行匹配，并获取第一匹配结果；判断第一匹配结果是否为匹配失败；若第一匹配结果为匹配失败，则对重识别网络模型进行低比特量化，以获得量化后重识别网络模型；将检测框和跟踪框输入量化后重识别网络模型，以再次匹配检测框和跟踪框，并获取第二匹配结果；若第二匹配结果为匹配成功，则将检测框的目标轨迹加入跟踪轨迹。
[0007]在上述实现过程中，第一次将3D检测框和3D跟踪框进行匹配；若3D检测框未匹配上，进一步地，使用低比特量化后的重识别网络计算第二次匹配的代价矩阵，再次进行匹配，获得匹配结果；因此，使用本申请实施例提供的目标跟踪方法不但能够提高目标跟踪的匹配精度，还能够降低由于重识别网络引入带来的计算耗时。
[0008]可选地，在本申请实施例中，检测框包括3D检测框和2D检测框；跟踪框包括3D跟踪
框和2D跟踪框；根据待处理数据获取当前帧中的检测框和跟踪框包括：根据待处理数据，获取当前帧中的目标轨迹的当前信息和历史信息；根据当前信息获取3D检测框，并将3D检测框投影至多摄相机坐标系，以获取2D检测框；根据历史信息和3D检测框获取3D跟踪框和2D跟踪框。
[0009]在上述实现过程中，通过待处理数据可以获得当前帧中的检测框和跟踪框，通过当前信息获取3D检测框和2D检测框；根据历史信息和3D检测框获取3D跟踪框和2D跟踪框；从而准确地获取到3D检测框、2D检测框、3D跟踪框和2D跟踪框，便于精确跟踪目标。
[0010]可选地，在本申请实施例中，待处理数据包括激光雷达点云数据；将3D检测框投影至多摄相机坐标系，以获取2D检测框，包括：将3D检测框投影至多摄像机坐标系，以获得3D检测框对应的多个投影2D框；获取3D检测框内的点云数量和多个投影2D框内的点云数量；将3D检测框内的点云数量分别除以多个投影2D框内的点云数量，以获得遮挡比例；将遮挡比例中最小的遮挡比例对应的投影2D框作为2D检测框。
[0011]在上述实现过程中，将3D检测框投影至多摄相机坐标系，在有一个3D框对应多个2D框时，选取遮挡比例最小的2D投影框作为重识别网络的输入，遮挡比例通过3D坐标系下3D检测框内点云数量除以投影至相机坐标系下2D检测框内点云数量获得；由于本申请实施例提供的目标跟踪方法选取遮挡比例最小的2D框为2D检测框，从而能够提高3D多目标跟踪匹配精度。
[0012]可选地，在本申请实施例中，将检测框和跟踪框通过量化后重识别网络模型，以再次匹配检测框和跟踪框，并获取第二匹配结果包括：将2D检测框和2D跟踪框通过量化后的重识别网络模型，以获得2D检测框实例语义特征和2D跟踪框实例语义特征；计算2D检测框实例语义特征和2D跟踪框实例语义特征的余弦距离，以获得语义特征代价矩阵；基于语义特征代价矩阵，再次匹配2D检测框和2D跟踪框，并获取第二匹配结果。
[0013]在上述实现过程中，将检测框和跟踪框通过量化后重识别网络模型，得到2D检测框实例语义特征和2D跟踪框实例语义特征；进一步地，再次匹配检测框和跟踪框，并获取第二匹配结果。因而，本申请实施例提供的目标跟踪方法引入了实例级别的语义特征，克服了现有技术3D多目标跟踪匹配过程缺失实例语义信息的问题。
[0014]可选地，在本申请实施例中，将检测框与跟踪框进行匹配，并获取第一匹配结果包括：计算3D检测框和3D跟踪框的交并比距离，以获得3D交并比代价矩阵；基于3D交并比代价矩阵，对3D检测框和3D跟踪框进行匹配，并获取第一匹配结果。
[0015]在上述实现过程中，本申请实施例提供的目标跟踪方法中存在两次匹配操作，第一次为初步匹配；第一次的匹配使用的是3D IOU代价矩阵，经过第一次匹配，存在一些匹配失败的检测框和跟踪框，对于匹配失败的检测框进而跟踪框再进行第二次匹配。也就是说，使用本申请实施例提供的目标跟踪方法可以通过第一次匹配实现初步匹配；使再次匹配时的数据量减少，能够提高匹配效率。
[0016]可选地，在本申请实施例中，该目标跟踪方法还包括：若第一匹配结果为匹配成功，则将3D检测框中的目标加入跟踪轨迹。
[0017]在上述实现过程中，对交并比代价矩阵融合的代价矩阵使用匈牙利算法进行匹配，基于匈牙利匹配算法得到一个与输入同大小的匹配矩阵；如果检查测框与某一个轨迹相匹配，则对应输出的矩阵该行该列为1，对匹配上的轨迹的重识别特征用对应的检测重识
别特征进行动态更新，并将该3D检测框中的目标加入跟踪轨迹。
[0018]可选地，在本申请实施例中，对重识别网络模型进行低比特量化，以获得量化后重识别网络模型包括：将重识别网络模型的权重和/或激活函数由高位浮点数映射为低比特深度的数据，以获得量化后重识别网络模型；其中，权重的量化方式为对称量化，激活函数的量化方式为非对称量化。
[0019]在上述实现过程中，由于引入重识别网络提取语义特征，会增加计算耗时，从而降低目标跟踪效率；将重识别网络模型的权重和/或激活函数由高位浮点数映射为低比特深度的数据，以获得量化后重识别网络模型；从而有效解决了引入重识别网络带来的耗时问题。
[0020]第二方面，本申请实施例提供一种目标跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述目标跟踪方法包括：获取待处理数据的当前帧中的检测框和跟踪框；将所述检测框与所述跟踪框进行匹配，并获取第一匹配结果；判断所述第一匹配结果是否为匹配失败；若所述第一匹配结果为匹配失败，则对重识别网络模型进行低比特量化，以获得量化后重识别网络模型；将所述检测框和所述跟踪框输入所述量化后重识别网络模型，以再次匹配所述检测框和所述跟踪框，并获取第二匹配结果；若所述第二匹配结果为匹配成功，则将所述检测框的目标轨迹加入跟踪轨迹。2.根据权利要求1所述的方法，其特征在于，其中，所述检测框包括3D检测框和2D检测框；所述跟踪框包括3D跟踪框和2D跟踪框；所述根据待处理数据获取当前帧中的检测框和跟踪框，包括：根据待处理数据，获取当前帧中的所述目标轨迹的当前信息和历史信息；根据所述当前信息获取所述3D检测框，并将所述3D检测框投影至多摄像机坐标系，以获取所述2D检测框；根据所述历史信息和所述3D检测框获取所述3D跟踪框和2D跟踪框。3.根据权利要求2所述的方法，其特征在于，其中，所述待处理数据包括激光雷达点云数据；所述将所述3D检测框投影至多摄相机坐标系，以获取所述2D检测框，包括：将所述3D检测框投影至多摄像机坐标系，以获得所述3D检测框对应的多个投影2D框；获取所述3D检测框内的点云数量和多个所述投影2D框内的点云数量；将所述3D检测框内的点云数量分别除以多个所述投影2D框内的点云数量，以获得遮挡比例；将所述遮挡比例中最小的所述遮挡比例对应的投影2D框作为所述2D检测框。4.根据权利要求2所述的方法，其特征在于，所述将所述检测框和所述跟踪框通过所述量化后重识别网络模型，以再次匹配所述检测框和所述跟踪框，并获取第二匹配结果，包括：将所述2D检测框和所述2D跟踪框通过所述量化后的重识别网络模型，以获得2D检测框实例语义特征和2D跟踪框实例语义特征；计算所述2D检测框实例语义特征和所述2D跟踪框实例语义特征的余弦距离，以获得语义特征代价矩阵；基于所述语义特征代价矩阵，再次匹配所述2D检测框和所述2D跟踪框，并获取第二匹配结果。5.根据权利要求2所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：北京爱芯科技有限公司，
类型：发明
国别省市：