通过分而治之关联的无人机多目标跟踪方法与装置制造方法及图纸

本发明专利技术公开了一种通过分而治之关联的无人机多目标跟踪方法：将连续两帧图像和前一帧的运动查询热图输入到主干网中，同时预测当前帧目标的位置，外观特征以及目标在相邻帧间的运动；设计对跟踪过程中的在线轨迹和丢失轨迹进行分而治之的目标关联算法，利用运动信息对在线轨迹与检测目标进行相邻帧的关联，利用外观特征对丢失轨迹和检测目标进行跨多帧的关联；为确保位置关联的可靠性，使用预测目标中心点运动计算当前帧目标边界框在前一帧中的估计位置并与前一帧跟踪的轨迹边界框进行交并比相似度计算(运动匹配)；本发明专利技术在在图像分辨率为608

【技术实现步骤摘要】
通过分而治之关联的无人机多目标跟踪方法与装置


[0001]本专利技术属于深度学习与计算机视觉
，更具体地，涉及一种通过分而治之关联的无人机多目标跟踪方法与装置。

技术介绍

[0002]目标跟踪是计算机视觉的基本任务之一，它需要对连续视频帧上的目标进行定位和身份确定。而为了达到这一目的，常常需要可靠的检测器以及鲁棒的跟踪策略的设计。对于检测器，需要进行多任务训练的设计，对于跟踪器，需要考虑具体的场景设计相应的跟踪关联策略。由于无人机场景下存在相机运动剧烈，相机运动模糊，图像中的目标较为稀疏等特点，使得一般的基于固定摄像机场景下的跟踪算法很难在运动场景中发挥有效的性能。外观特征作为在无遮挡(稀疏场景中)比较可靠的关联依据可以对无人机场景下的目标进行长程的关联。然而部分场景下相机运动过快，目标外观会因相机运动模糊而发生剧烈变化，这会影响外观特征作为关联依据的可靠性。此外，传统的基于卡尔曼滤波作为运动模型的跟踪器由于其线性运动的先验假设，导致无人机场景中通过卡尔曼滤波得到的边界框不能准确的反映跟踪目标的准确位置。

技术实现思路

[0003]本专利技术针对无人机场景下剧烈的相机运动以及运动模糊对跟踪性能的影响，提出了一种通过分而治之关联算法的鲁棒多目标跟踪方案，以使跟踪器可以在剧烈的运动中能稳健的关联目标。并且其性能、速度在无人机场景中优于业界领先的传统跟踪框架。本专利技术主要结合运动位移和外观特征在跟踪过程中的优势，利用运动和外观在跟踪过程中的互补性，在无人机场景中执行鲁棒的目标关联。
[0004]为实现上述目的，按照本专利技术的一个方面，提供了一种通过分而治之关联的无人机多目标跟踪方法，包括如下步骤：
[0005](1)通过深度学习模型训练检测、运动预测以及外观特征任务；
[0006](2)将前一帧跟踪结果查询热图、前一帧图像和当前帧图像同时输入到DCTrack主干网络框架中，同时提取出当前帧的检测框，对应目标的外观特征以及目标在前后帧间的运动位移；
[0007](3)采用分而治之的关联策略，使用预测的运动位移和外观特征分别处理在线和丢失轨迹，以充分利用位置信息与外观信息的互补性作用。
[0008]本专利技术的一个实施例中，所述步骤(3)具体包括：
[0009](3.1)利用预测的目标中心点在相邻帧间的运动位移估计出当前帧检测边界框在前一帧中的位置，并和前一帧在线轨迹边界框进行交并比相似度匹配，获得匹配的在线轨迹仍保持为在线状态，未获得匹配的在线轨迹，将其标记为丢失轨迹；
[0010](3.2)对于(3.1)中未获得匹配的检测目标，将其对应的外观特征与丢失轨迹的外观特征进行外观相似度匹配，获得匹配的丢失轨迹被认为是重识别的轨迹，将其标记为在
线轨迹，未获得匹配的丢失轨迹考察其丢失帧数，若大于N个帧，则会判定该轨迹已经离开场景并将其删除，其中N为预设值；
[0011](3.3)对于(3.2)中未获得匹配的检测目标，与前一帧不确定的新轨迹进行边界框交并比匹配，没有获得关联的不确定轨迹将会被判定为假阳性轨迹并将其删除，获得关联的不确定轨迹将其轨迹状态标记为在线轨迹；
[0012](3.4)对于(3.3)中未获得匹配的检测目标，考察其置信度分数，若置信度大于阈值A，则将其初始化为新轨迹，并将新轨迹标识为不确定状态，以留在下一帧的跟踪中对其进行考察，其中A为预设阈值；
[0013](3.5)输出步骤(3.1)至(3.3)所有跟踪后的在线轨迹的边界框及其对应的目标id作为跟踪器的准确跟踪结果。
[0014]本专利技术的一个实施例中，在所述步骤(1)中，使用DCTrack主干网络在UAVDT训练集上进行训练，首先使用当前帧图像，靠近该帧时序附近的随机一帧图像，以及随机帧的目标标记中心点渲染的热图作为DCtrack主干网络的输入，并预测当前帧目标的边界框，外观特征，以及目标在当前帧和随机帧之间的运动位移；然后使用当前帧的标记框，目标标记id，以及目标中心点在当前帧和随机帧之间的运动位移标记用于分别监督检测分支，外观预测分支以及运动预测分支。
[0015]本专利技术的一个实施例中，训练检测分支的损失函数为交并比损失函数与L1损失函数，训练运动预测分支的损失函数为L1损失函数，训练外观特征的损失函数为交叉熵损失函数。
[0016]本专利技术的一个实施例中，在所述步骤(2)中，DCTrack主干网络框架由三部分组成：主干网络、多尺度特征融合网络以及多任务分支预测，其中主干网络由卷积神经网络DLA
‑
34构成；多尺度特征融合网络多采取可形变卷积算子DCN和反卷积算子用于上采样各个阶段的特征图；多任务分支由检测分支、运动预测分支和外观特征分支组成，分别对应着边界框预测任务，相邻帧间的运动预测任务，以及目标的外观特征预测任务。
[0017]本专利技术的一个实施例中，在所述步骤(2)中输入推理信息具体包括：对于视频帧推理初期，本专利技术将第一帧的图像作为当前帧和前一帧，跟踪结果查询热图初始化为空白的热图；在后续帧的推理中，前一帧的跟踪目标的中心点以高斯圆点的形式渲染在热图上，并将该热图作为跟踪结果查询热图与前一帧图像和当前帧图像一并输入至DCTrack主干网。
[0018]本专利技术的一个实施例中，在所述步骤(2)中进行推理预测，具体包括：
[0019]DCTrack主干网络同时预测的含目标中心点的目标边界框信息，目标在相邻帧间的运动位移，以及目标的外观特征；具体信息形式为：边界框预测为目标中心点坐标(cx,cy)以及距离目标边界的左、上、右、下偏移量信息(Δl,Δt,Δr,Δb)，运动位移预测的是同一目标中心点在相邻帧间的运动位移(Δx,Δy)，外观特征预测的是每个目标的外观描述特征向量L∈R
d
，d为外观特征向量维度大小。
[0020]本专利技术的一个实施例中，所述N设值为30，A设置为0.65，运动匹配的交并比匹配阈值为0.5，外观特征相似度匹配的阈值为0.17，轨迹确认交并比匹配阈值为0.6，轨迹外观特征的更新采用指数滑动平均方法，其中更新参数alpha设置为0.9。
[0021]本专利技术的一个实施例中，在608
×
1088的分辨率下，以不低于25帧每秒的实时运行速度实现无人机场景下的多目标跟踪推理。
[0022]按照本专利技术的另一方面，还提供了一种通过分而治之关联的无人机多目标跟踪装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成所述的通过分而治之关联的无人机多目标跟踪方法。
[0023]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有如下有益效果：
[0024](1)本专利技术针对无人机场景中相机运动剧烈的特点，利用深度学习模型对目标的在线运动进行建模，克服了传统基于卡尔曼滤波跟踪方法对目标运动位置估计不准的问题；
[0025](2)本专利技术提出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过分而治之关联的无人机多目标跟踪方法，其特征在于，包括如下步骤：(1)通过深度学习模型训练检测、运动预测以及外观特征任务；(2)将前一帧跟踪结果查询热图、前一帧图像和当前帧图像同时输入到DCTrack主干网络框架中，同时提取出当前帧的检测框，对应目标的外观特征以及目标在前后帧间的运动位移；(3)采用分而治之的关联策略，使用预测的运动位移和外观特征分别处理在线和丢失轨迹，以充分利用位置信息与外观信息的互补性作用。2.如权力要求1所述的通过分而治之关联的无人机多目标跟踪方法，其特征在于，所述步骤(3)具体包括：(3.1)利用预测的目标中心点在相邻帧间的运动位移估计出当前帧检测边界框在前一帧中的位置，并和前一帧在线轨迹边界框进行交并比相似度匹配，获得匹配的在线轨迹仍保持为在线状态，未获得匹配的在线轨迹，将其标记为丢失轨迹；(3.2)对于(3.1)中未获得匹配的检测目标，将其对应的外观特征与丢失轨迹的外观特征进行外观相似度匹配，获得匹配的丢失轨迹被认为是重识别的轨迹，将其标记为在线轨迹，未获得匹配的丢失轨迹考察其丢失帧数，若大于N个帧，则会判定该轨迹已经离开场景并将其删除，其中N为预设值；(3.3)对于(3.2)中未获得匹配的检测目标，与前一帧不确定的新轨迹进行边界框交并比匹配，没有获得关联的不确定轨迹将会被判定为假阳性轨迹并将其删除，获得关联的不确定轨迹将其轨迹状态标记为在线轨迹；(3.4)对于(3.3)中未获得匹配的检测目标，考察其置信度分数，若置信度大于阈值A，则将其初始化为新轨迹，并将新轨迹标识为不确定状态，以留在下一帧的跟踪中对其进行考察，其中A为预设阈值；(3.5)输出步骤(3.1)至(3.3)所有跟踪后的在线轨迹的边界框及其对应的目标id作为跟踪器的准确跟踪结果。3.如权力要求1或2所述的通过分而治之关联的无人机多目标跟踪方法，其特征在于，在所述步骤(1)中，使用DCTrack主干网络在UAVDT训练集上进行训练，首先使用当前帧图像，靠近该帧时序附近的随机一帧图像，以及随机帧的目标标记中心点渲染的热图作为DCtrack主干网络的输入，并预测当前帧目标的边界框，外观特征，以及目标在当前帧和随机帧之间的运动位移；然后使用当前帧的标记框，目标标记id，以及目标中心点在当前帧和随机帧之间的运动位移标记用于分别监督检测分支，外观预测分支以及运动预测分支。4.如权力要求1或2所述的通过分而治之关联的无人机多目标跟踪方法，其特征在于，训练检测分支的损失函数为交并比损失函数与L1损失函数，训练运动预测分支的损失函数为L1损失函数，训练外观特征的损失函数为交叉熵损失函数...

【专利技术属性】
技术研发人员：刘泽林，廖本成，王兴刚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：