一种解决无人机视角车辆跟踪长时间遮挡的方法技术

本发明专利技术公开了一种解决无人机视角车辆跟踪长时间遮挡的方法，包括以下步骤，将丢失轨迹沿运动方向延伸至图片边界。通过连接轨迹中最后两个检测框的中心点得到直线和前进方向，并延伸至图片边界；寻找与丢失轨迹延长线相交的检测框(检测框为当前帧匹配步骤中未匹配上的框)，在每一个视频帧执行完跟踪匹配的所有流程后，得到没匹配上的检测框，筛选与轨迹延长线相交的检测框；通过在两个检测框中的空缺区域进行线性插值，补充中间丢失的检测框，并用这些检测框更新卡尔曼滤波，从而让卡尔曼滤波器能够进行正常的更新的设置，从而大幅度减少了车辆被长时间遮挡后的ID切换，提高了跟踪的准确性，也保证了车辆分类计数的结果可靠性。性。性。

【技术实现步骤摘要】
一种解决无人机视角车辆跟踪长时间遮挡的方法


[0001]本专利技术涉及车辆追踪
，具体为一种解决无人机视角车辆跟踪长时间遮挡的方法。

技术介绍

[0002]业内先进的多目标跟踪方法一般采用深度学习加传统算法的组合。其中在实践中被广泛使用的工作流程为先通过目标检测模型定位目标物体，然后通过将检测到的目标物体与卡尔曼滤波算法的预测结果输入匈牙利匹配算法，从而将前后两帧的同一物体进行匹配。在跟踪部分，轨迹被允许丢失一定的帧数，只要在规定的最大丢失帧数内将轨迹与新检测到的物体重新匹配上，即依然可以看做追踪成功。这一设置通常被用来处理目标被遮挡的情况。然而，此种方法仅能适配目标在被遮挡后静止不动的情况，因为在目标被遮挡后(也就是轨迹丢失)，卡尔曼滤波也不再更新(即卡尔曼滤波预测的检测框依然停留在目标丢失的那一帧)，只能等待目标重新出现被模型检测到并与卡尔曼滤波之前的预测值匹配上，若是目标物体在被遮挡后继续向前运动，并在运动了一段距离后重新出现，则检测器检测到的目标框将远离卡尔曼滤波预测的目标框，造成无法匹配的情况。
[0003]在无人机视角车辆计数任务中，道路上的汽车经常会被道路两侧行道树遮挡，如果行道树比较密集，则会导致车辆被长时间遮挡，考虑到车辆不会在道路区域停车，因此在被遮挡时，车辆依旧会向前行驶，如果采用现有的跟踪方法，则必然会导致车辆ID变换，影响车辆计数结果。
[0004]目前的解决思路是在轨迹丢失后，通过对比轨迹中保存的物体特征与当前帧检测框所提取的物体特征进行重新匹配。然而，由于车辆的特征大部分是相似的，尤其是道路中出现同款车型的车辆，从它们的检测框中提取的特征基本一致，因此这种适用于行人跟踪的方法在车辆跟踪上很难实行。此外，若目标物体在被遮挡时行进了很长的距离，即使后来与轨迹匹配上了，卡尔曼滤波器由于前后状态相差过大，也无法及时正常更新，导致无法进行后续的跟踪。
[0005]为此提出一种解决无人机视角车辆跟踪长时间遮挡的方法，来解决此问题。

技术实现思路

[0006]本专利技术的目的在于提供一种解决无人机视角车辆跟踪长时间遮挡的方法，解决了在无人机视角车辆计数的任务场景下，车辆因长时间被树遮挡导致ID变换、计数误差过大的问题，以及在车辆被长时间遮挡后，对比正常丢失时的轨迹检测框在与车辆重新出现时轨迹检测框的差距，从而判断车辆是否在被遮挡时进行超速行驶。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种解决无人机视角车辆跟踪长时间遮挡的方法，包括以下步骤：
[0008]步骤1：将丢失轨迹沿运动方向延伸至图片边界。通过连接轨迹中最后两个检测框的中心点得到直线和前进方向，并延伸至图片边界；
[0009]步骤2：寻找与丢失轨迹延长线相交的检测框(检测框为当前帧匹配步骤中未匹配上的框)，在每一个视频帧执行完跟踪匹配的所有流程后，得到没匹配上的检测框，筛选与轨迹延长线相交的检测框；
[0010]步骤3：将检测框提取特征并与轨迹特征进行匹配。通过模型对检测框进行特征提取，并与轨迹中保存的特征进行匹配，若结果大于阈值，则匹配成功，将匹配上的检测框加入轨迹；
[0011]步骤4：将匹配上的轨迹检测框与丢失轨迹延长线相交的检测框进行对比，通过对视频的图片进行逐帧处理，对比正常丢失时的轨迹检测框在与车辆重新出现时轨迹检测框的差距，若同一帧数下，正常丢失时的轨迹检测框小于车辆重新出现时轨迹检测框，则判定车辆加速，若小于的差距过大，则根据轨迹差距的距离判定超速；
[0012]步骤5：将新加入的检测框与轨迹上一个检测框按帧数进行线性插值。由于经过长时间遮挡后，轨迹中最新的检测框与上一个检测框的距离过大，卡尔曼滤波无法正常更新，因此在两个检测框中的空缺区域进行线性插值，补充中间丢失的检测框，并用这些检测框更新卡尔曼滤波，从而让卡尔曼滤波器能够进行正常的更新；
[0013]步骤6：重匹配成功，继续执行后续跟踪步骤。
[0014]优选的，所述在步骤1中，若同一方向中延伸的直线和前进方向的丢失轨迹存在不同车辆，可以通过对不同车辆延伸的丢失轨迹进行颜色区分处理或对暂不处理的车辆丢失轨迹进行隐藏。
[0015]优选的，所述在步骤1中，车辆若行驶在复杂的弯曲路面过十字路口，可以通过给无人机加装车道级定位导航模块，以此来通过对车辆的前进方向和路面状况，延伸出曲线或不规则的丢失轨迹。
[0016]优选的，所述在步骤2中，若同一方向中延伸出不同车辆直线和前进方向的丢失轨迹，则可以将与丢失轨迹延长线相交的检测框，通过不同形状来具体区分不同车辆的丢失轨迹或对暂不处理的车辆丢失轨迹和检测框进行隐藏。
[0017]优选的，所述在步骤2中，没有与丢失轨迹延长线匹配上的检测框。可以用独立颜色标注出。
[0018]优选的，所述在步骤3中，匹配过程可以进行多次，并对多次匹配过程进行对比，降低误差。
[0019]优选的，所述在步骤4中，对同一帧数下的汽车正常丢失轨迹检测框和在与车辆重新出现时轨迹检测框进行颜色区分，并通过对已保存的差距特征进行对比，精确判定车辆超速百分比。
[0020]优选的，所述在步骤5中，两个检测框中空缺区域的逐帧式线性插值可以通过不同颜色进行区分，且卡尔曼滤波对不同颜色检测框进行捕捉，使其提高更新的速度。
[0021]优选的，所述在步骤5中，若车辆存在于复杂路面，可以根据延伸出曲线或不规则的丢失轨迹，新加入曲线或不规则方向的检测框，并通过空缺区域的丢失轨迹来进行逐帧插值曲线或不规则方向丢失的检测框。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]1、本专利技术专利基于python编程语言以及pytorch深度学习框架实现，检测部分为yolov5网络，跟踪部分为ReID的byte
‑
track算法。应用部署是基于Inteli7
‑
13700KF，内存
64gb，显卡NVIDIARTX3090，显存24gb的结构；通过在两个检测框中的空缺区域进行线性插值，补充中间丢失的检测框，并用这些检测框更新卡尔曼滤波，从而让卡尔曼滤波器能够进行正常的更新的设置，从而大幅度减少了车辆被长时间遮挡后的ID切换，提高了跟踪的准确性，也保证了车辆分类计数的结果可靠性，该专利技术可用于优化无人机视角下通过检测跟踪算法进行多类别车辆计数的方法，得到的更为准确数据。除了车辆分类计数场景，该专利技术还适用于其他可能出现长时间遮挡的轨迹跟踪场景，如行人轨迹跟踪、动物轨迹跟踪等，并且本专利技术专利可以通过C++部署、TensorRT加速、跳帧检测等方来减少算法运算时间从而做到实时检测跟踪；
[0024]2、本专利技术专利通过对视频的图片进行逐帧处理，对比正常丢失时的轨迹检测框在与车辆重新出现时轨迹检测框的差距，若同一帧数下，正常丢失时的轨迹检测框小于车辆重新出现时轨迹检测框，则判定车辆加速，若小于的差距过大，则根据轨迹差距的距离判定超速，从而达到了在车辆被长时间遮挡后，判断车辆是否在被遮挡时进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解决无人机视角车辆跟踪长时间遮挡的方法，其特征在于：包括以下步骤：步骤1：将丢失轨迹沿运动方向延伸至图片边界。通过连接轨迹中最后两个检测框的中心点得到直线和前进方向，并延伸至图片边界；步骤2：寻找与丢失轨迹延长线相交的检测框(检测框为当前帧匹配步骤中未匹配上的框)，在每一个视频帧执行完跟踪匹配的所有流程后，得到没匹配上的检测框，筛选与轨迹延长线相交的检测框；步骤3：将检测框提取特征并与轨迹特征进行匹配。通过模型对检测框进行特征提取，并与轨迹中保存的特征进行匹配，若结果大于阈值，则匹配成功，将匹配上的检测框加入轨迹；步骤4：将匹配上的轨迹检测框与丢失轨迹延长线相交的检测框进行对比，通过对视频的图片进行逐帧处理，对比正常丢失时的轨迹检测框在与车辆重新出现时轨迹检测框的差距，若同一帧数下，正常丢失时的轨迹检测框小于车辆重新出现时轨迹检测框，则判定车辆加速，若小于的差距过大，则根据轨迹差距的距离判定超速；步骤5：将新加入的检测框与轨迹上一个检测框按帧数进行线性插值。由于经过长时间遮挡后，轨迹中最新的检测框与上一个检测框的距离过大，卡尔曼滤波无法正常更新，因此在两个检测框中的空缺区域进行线性插值，补充中间丢失的检测框，并用这些检测框更新卡尔曼滤波，从而让卡尔曼滤波器能够进行正常的更新；步骤6：重匹配成功，继续执行后续跟踪步骤。2.根据权利要求1所述的一种解决无人机视角车辆跟踪长时间遮挡的方法，其特征在于：所述在步骤1中，若同一方向中延伸的直线和前进方向的丢失轨迹存在不同车辆，可以通过对不同车辆延伸的丢失轨迹进行颜色区分处理或对暂不处理的车辆丢失轨迹进行隐藏。3.根据权利要求1所述的一种解决无人机视角车辆跟踪长时间遮挡的方法，其特征在于：所述在步...

【专利技术属性】
技术研发人员：黄天宇，谭翠前，方雯，范志豪，许鹏健，贺坤，黄枭，黄业勇，
申请(专利权)人：中恩工程技术有限公司，
类型：发明
国别省市：