一种无人机多目标长期追踪方法技术

本发明专利技术提出一种无人机多目标长期追踪方法，方法包括：检测模块从环境图像信息中识别出所有监测目标的目标检测框图像和目标相对位置信息，得到目标检测框图像序列和目标相对位置信息序列；跨镜追踪模块提取每个目标检测框图像的多维表观特征；对于目标检测框图像序列中的每一帧，匹配模块对其进行防抖操作后，根据置信度将其分为高分目标框和低分目标框，基于多维表观特征和目标相对位置信息获得融合损失矩阵，进而通过匈牙利算法进行轨迹匹配，以完成目标追踪

【技术实现步骤摘要】
一种无人机多目标长期追踪方法


[0001]本专利技术属于目标跟踪
，尤其涉及一种无人机多目标长期追踪方法
。

技术介绍

[0002]多目标跟踪在最近十几年发展迅速，早期比较典型的方法有
MeanShift
（均值偏移）和粒子滤波等方法，但整体精度比较低，且为单目标跟踪为主
。
随着检测目标的精度不断提升，出现了基于检测的跟踪框架，像
SORT、DeepSORT、BYTETrack、BoTSORT
都是典型算法
。
[0003]基于检测的跟踪框架流程主要分为检测和匹配两部分，但是由于框架的灵活性，检测部分可以随着目标检测算法的发展而不断更新，检测的结果也影响后续匹配过程准确性
。SORT
算法是检测跟踪中最初始经典算法，匹配过程的核心主要是卡尔曼滤波和匈牙利算法的结合，主要流程首先对上一帧检测目标框进行卡尔曼滤波预测在当前帧的位置，然后利用匈牙利匹配算法进行当前检测目标框与预测目标框之间的最优匹配
。DeepSORT
算法是
SORT
的改进版本，主要是增加
CNN
网络提取目标框的表观特征，增加对遮挡的鲁棒性，提出级联匹配策略通过结合运动信息和外观信息来实现真实目标框和预测目标框之间的关联度量
。BYTETrack
算法提出了一种新的数据关联方法，同
SORT
算法不同，该算法考虑到了由于遮挡产生的低置信度检测目标框，算法利用检测框和轨迹之间相似性，在保留高分检测结果的同时，从低分结果中去除背景，挖掘真正的物体，从而提高轨迹连贯性，首先，高分框与之前的轨迹匹配，然后利用低分框和首次未匹配成功的高分轨迹框匹配，而对于没有匹配到的轨迹，得分高的检测框构建新跟踪轨迹
。BoTSORT
算法是更为鲁棒的跟踪器，匹配整体流程与
BYTETrack
基本一致，但是它加入了
ReID
模块和相机运动补偿方式
。
[0004]现有多目标跟踪技术方案中，像
SORT、BYTETrack
，仅仅使用位置信息进行匹配，能准确匹配的前提都是前后帧背景不能发生很大变化，而且目标移动速度相对较慢，如果不满足前提条件，匹配结果都存在严重的
ID Switch
（身份转换）问题，甚至短期连续追踪某个目标也无法实现，当在摄像头发生抖动
、
转动情况时，仅依靠位置信息几乎无法连续追踪，而
DeepSORT、BoTSORT
虽然加入了
ReID
（跨镜追踪），对监控镜头下的物体进行重新识别和辨认，在一定程度上缓解了
ID Switch
情况，但是当目标遮挡时间较长或者摄像头转动幅度较大时，在匹配过程中加入的位置信息无法发挥作用，进而导致无法将同一目标进行关联
。

技术实现思路

[0005]为解决上述技术问题，本专利技术提出一种无人机多目标长期追踪方法
。
[0006]本专利技术第一方面公开了一种无人机多目标长期追踪方法；所述方法基于追踪系统对无人机获取的多种目标进行定位跟踪监视，所述追踪系统包括检测模块
、
跨镜追踪模块以及匹配模块；所述方法包括以下步骤：
S1
，所述检测模块从环境图像信息中识别出所有监测目标的目标检测框图像和目
标相对位置信息，得到目标检测框图像序列和目标相对位置信息序列；
S2
，所述跨镜追踪模块提取每个目标检测框图像的多维表观特征；
S3
，对于所述目标检测框图像序列中的每一帧，所述匹配模块对其进行防抖操作后，根据置信度将其分为高分目标框和低分目标框，基于所述多维表观特征和所述目标相对位置信息获得融合损失矩阵，进而通过匈牙利算法对评分后目标框进行轨迹匹配，以完成目标追踪
。
[0007]根据本专利技术第一方面的方法，在所述步骤
S3
中，进行防抖操作的步骤包括：基于当前帧的目标检测框图像和上一帧的目标检测框图像获取单应性变换矩阵，进而根据所述上一帧的目标检测框图像与所述单应性变换矩阵的乘积得到透视变换后的当前检测目标框
。
[0008]根据本专利技术第一方面的方法，所述基于当前帧的目标检测框图像和上一帧的目标检测框图像获取单应性变换矩阵的步骤包括：利用
ORB
算子分别提取当前帧的目标检测框图像和上一帧的目标检测框图像的特征点及每个特征点对应的描述子；通过匹配所述特征点的描述子，获得匹配的特征点对；对所述特征点对进行异常匹配过滤后，获得正确特征点对；基于随机抽样一致算法选取最优的8个特征点对
, 通过所述8个特征点对计算所述单应性变换矩阵
。
[0009]根据本专利技术第一方面的方法，在所述步骤
S3
中，基于所述多维表观特征和所述目标相对位置信息获得融合损失矩阵的步骤包括：基于卡尔曼滤波预测轨迹池中上一帧检测目标框在所述当前检测目标框中位置，获得预测目标框；基于所述目标相对位置信息将所述当前检测目标框和所述预测目标框分别建模成
2D
的高斯分布；计算所述当前检测目标框和所述预测目标框对应的高斯分布之间的距离；所述高斯分布之间的距离的计算公式为：
[0010]其中，表示当前检测目标框
a
和预测目标框
b
之间的高斯分布之间的距离，表示当前检测目标框
a
的高斯分布，表示预测目标框
b
的高斯分布，
(,)
表示当前检测目标框
a
的中心点坐标，表示当前检测目标框
a
的宽度，表示当前检测目标框
a
的高度，
(,)
表示预测目标框
b
的中心点坐标，表示预测目标框
b
的宽度，表示预测目标框
b
的高度；对所述高斯分布之间的距离进行归一化，获得所述当前检测目标框和所述预测目标框之间的位置相似度；所述位置相似度的计算公式为：
[0011]其中，表示当前检测目标框
a
和预测目标框
b
之间的相似度，
C
表示数据集相关常数；根据所述位置相似度计算
NWD
损失矩阵；所述
NWD
损失矩阵公式为：
[0012]采用
cos
相似度计算所述当前检测目标框和所述预测目标框对应的多维表观特征之间的相似度；所述多维表观特征之间的相似度的计算公式为：
[0013]其中，表示第
i
个目标框的表观特征，表示第
j
个目标框的表观特征，表示第
i
个目标第
k
个维度的值，表示第
j
个目标第
k
个维度的值，表示表观特征的维度；对所述多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人机多目标长期追踪方法，其特征在于，所述方法基于追踪系统对无人机获取的多种目标进行定位跟踪监视，所述追踪系统包括检测模块
、
跨镜追踪模块以及匹配模块；所述方法包括以下步骤：
S1
，所述检测模块从环境图像信息中识别出所有监测目标的目标检测框图像和目标相对位置信息，得到目标检测框图像序列和目标相对位置信息序列；
S2
，所述跨镜追踪模块提取每个目标检测框图像的多维表观特征；
S3
，对于所述目标检测框图像序列中的每一帧，所述匹配模块对其进行防抖操作后，根据置信度将其分为高分目标框和低分目标框，基于所述多维表观特征和所述目标相对位置信息获得融合损失矩阵，进而通过匈牙利算法对评分后目标框的进行轨迹匹配，以完成目标追踪
。2.
根据权利要求1所述的一种无人机多目标长期追踪方法，其特征在于，在所述步骤
S3
中，进行防抖操作的步骤包括：基于当前帧的目标检测框图像和上一帧的目标检测框图像获取单应性变换矩阵，进而根据所述上一帧的目标检测框图像与所述单应性变换矩阵的乘积得到透视变换后的当前检测目标框
。3.
根据权利要求2所述的一种无人机多目标长期追踪方法，其特征在于，所述基于当前帧的目标检测框图像和上一帧的目标检测框图像获取单应性变换矩阵的步骤包括：利用
ORB
算子分别提取当前帧的目标检测框图像和上一帧的目标检测框图像的特征点及每个特征点对应的描述子；通过匹配所述特征点的描述子，获得匹配的特征点对；对所述特征点对进行异常匹配过滤后，获得正确特征点对；基于随机抽样一致算法选取最优的8个特征点对
, 通过所述8个特征点对计算所述单应性变换矩阵
。4.
根据权利要求3所述的一种无人机多目标长期追踪方法，其特征在于，在所述步骤
S3
中，基于所述多维表观特征和所述目标相对位置信息获得融合损失矩阵的步骤包括：基于卡尔曼滤波预测轨迹池中上一帧检测目标框在所述当前检测目标框中位置，获得预测目标框；基于所述目标相对位置信息将所述当前检测目标框和所述预测目标框分别建模成
2D
的高斯分布；计算所述当前检测目标框和所述预测目标框对应的高斯分布之间的距离；所述高斯分布之间的距离的计算公式为：，其中，表示当前检测目标框
a
和预测目标框
b
之间的高斯分布之间的距离，表示当前检测目标框
a
的高斯分布，表示预测目标框
b
的高斯分布，
(,)
表示当前检测目标框
a
的中心点坐标，表示当前检测目标框
a
的宽度，表示当前检测目标框
a
的高
度，
(,)
表示预测目标框
b
的中心点坐标，表示预测目标框
b
的宽度，表示预测目标框
b
的高度；对所述高斯分布之间的距离进行归一化，获得所述当前检测目标...

【专利技术属性】
技术研发人员：李成哲，殷艳坤，赵凯敏，陈萧冰，侯静静，
申请(专利权)人：中国兵器装备集团兵器装备研究所，
类型：发明
国别省市：