一种面向抖动模糊场景的DeepSORT目标跟踪方法技术

本发明专利技术公开了一种面向抖动模糊场景的DeepSORT目标跟踪方法，包括：(1)训练DeepSORT算法的行人检测器，根据得到的行人权重，训练行人重识别ReID网络；(2)在DeepSORT算法的目标轨迹预测阶段，采用卡尔曼滤波进行轨迹预测，采用具有仿射变换的全局运动补偿GMC，对卡尔曼滤波进行补偿；(3)在DeepSORT算法的数据关联阶段，采用欧式距离匹配，对级联匹配未成功的轨迹进行再次匹配；(4)获取视频，进行行人目标跟踪。本发明专利技术基于GMC以及欧氏距离关联匹配对DeepSORT算法进行优化，能够提升非固定监控视频场景下的目标跟踪效果。控视频场景下的目标跟踪效果。控视频场景下的目标跟踪效果。

【技术实现步骤摘要】
一种面向抖动模糊场景的DeepSORT目标跟踪方法


[0001]本专利技术涉及视频图像处理，具体涉及一种面向抖动模糊场景的DeepSORT目标跟踪方法。

技术介绍

[0002]在多目标跟踪场景中，往往存在复杂的运动模式，这些运行模式除了行人这类非刚性运动，还有相机这类刚性运动。以MOT Challenge数据集为例，其中就存在大量相机运动场景，甚至超过了静态相机场景数。在工业安防中，很多监控设备都是周期性运动，视频图像的质量较低，多为运动模糊的视频，而提高图像传感器精度和光学精度等硬件条件来获得高分辨率视频图像往往成本很高。在一些嵌入式系统和大规模视觉监控中，通过提升相机刚性运动下跟踪技术，不但成本较低，而且可以达到更好的监控效果，减少人力和物力。
[0003]目前，目标跟踪都是基于检测的跟踪范式，跟踪器的效果依赖于检测器的性能。因此，很多学者致力于提升检测器的性能。比较典型的是采用一阶段目标检测器YOLO(You Only Look Once)系列作为跟踪器的输入。然而，在面向非固定监控设备的视频场景时，跟踪器受视频质量影响较大，为这种情况设计跟踪器是非常有价值和具有挑战性的。因此，为了充分考虑相机抖动等外界干扰因素，建立基于运动模型的跟踪器成为了热门趋势。Gaoang等人提出了一种局部
‑
全局运动(Local
‑
Global Motion，LGM)跟踪器，在不使用目标外观信息情况下，充分利用目标的运动信息，建立长时跟踪模型，LGM找出了运动的一致性，从而将轨迹关联起来。Shoudong等人通过提出运动感知跟踪器(Motion
‑
aware Tracker，MAT)，针对相机运动和目标非刚性运动造成的目标特征不稳定，对目标长时间消失再匹配和轨迹平滑问题，将MAT运动模型用于运动预测和目标关联。智博等人提出了补偿跟踪器(Compensating Tracker，CT)，它可以获得具有运动补偿模块的丢失目标。Nir Aharon等人提出了具有鲁棒关联的多行人跟踪(BoT
‑
SORT)，它结合了运动和表面信息的优势，加入相机运动补偿(Camera Motion Compensation，CMC)对卡尔曼滤波预测进行补充，同时将IOU和行人重识别(Person Re
‑
identification，REID)进行融合，并将CMC集成到了ByteTrack中，获得了明显的性能提升。
[0004]DeepSORT是一种广泛使用的具有深度关联度量的简单在线和实时跟踪方法，DeepSORT是基于先检测后跟踪范式的典型，它利用了卡尔曼滤波器和行人重识别(Person Re
‑
identification，ReID)模型中的外观特征的组合，在多个基准数据集中获得最先进的结果，目前在工业界广受欢迎。然而，对于相机运动场景而言，DeepSORT跟踪算法的研究不如对高帧率连续帧视频的跟踪，基于运动模型的跟踪器在多目标跟踪任务中取得的效果。具体来说，存在如下问题：(1)在面向非固定监控设备的视频场景时，由于监控设备的数量多以及环境因素的不确定影响，监控视频质量较低，在DeepSORT算法中，跟踪器受视频质量影响较大；(2)由于行人目标跟踪任务的复杂性和视频场景影响因素的不确定性，在抖动模糊等复杂场景中，相机刚性运动使得DeepSORT跟踪算法难以处理，往往存在大量的ID跳变。

技术实现思路

[0005]专利技术目的：本专利技术的目的是在非固定监控视频场景中发挥DeepSORT算法简单有效的价值，提供一种面向抖动模糊场景的DeepSORT目标跟踪方法，该方法在非固定监控视频场景下具有更好的目标跟踪效果。
[0006]技术方案：本专利技术提供一种面向抖动模糊场景的DeepSORT目标跟踪方法，包括：
[0007](1)训练DeepSORT算法的行人检测器，根据得到的行人权重，训练行人重识别ReID网络；
[0008](2)在DeepSORT算法的目标轨迹预测阶段，采用卡尔曼滤波进行轨迹预测，采用具有仿射变换的全局运动补偿GMC，对卡尔曼滤波进行补偿；
[0009](3)在DeepSORT算法的数据关联阶段，采用欧式距离匹配，对级联匹配未成功的轨迹进行再次匹配；
[0010](4)获取视频，进行行人目标跟踪。
[0011]进一步地，步骤(1)中，使用Crowdhuman数据集进行行人检测器的训练，使用Market
‑
1501数据集对行人重识别ReID网络进行训练。
[0012]进一步地，步骤(2)中，对于一个帧数为k的视频流，对第k
‑
1帧进行目标位置旋转、缩放和平移操作，得到第k帧的目标坐标预测，补偿卡尔曼滤波非线性运动预测的偏差。
[0013]进一步地，步骤(2)包括：
[0014](201)使用8维空间矢量定义目标模型，如式(1)所示；
[0015][0016]其中x
k
为系统状态向量；x,y是边界框bbox的中心坐标；r,h分别为边界框bbox的宽高比和高度；x
′
,y
′
,r
′
,h
′
分别为x,y,r,h的速度变化值；
[0017]z
k
为检测器检测的测量向量；z
x
(k),z
y
(k),z
r
(k),z
h
(k)分别为检测器测量的中心坐标，以及以边界框宽高比和高度的测量值；
[0018](202)计算仿射矩阵，对卡尔曼预测进行补偿；
[0019]将目标从图像中扣除，对相邻两帧背景图像做特征点提取处理，使用稀疏光流滤除异常点，将相邻两帧进行特征点匹配，再使用随机采样一致性算法RANSAC计算仿射矩阵；
[0020][0021][0022]其中为仿射矩阵，M2×2和T2×1为位置转换矩阵H中选取的2
×
2和2
×
1的矩阵，为仿射矩阵的缩放和旋转部分，为仿射矩阵的平移部分，diag为对角矩阵，f为位置转换矩阵的内容；
[0023](203)根据目标当前状态，利用卡尔曼滤波器进行下一状态预测；
[0024]式(4)为卡尔曼预测方程：
[0025][0026]其中为当前系统状态向量，A
k
为状态转移矩阵，上一帧系统状态向量，P
k
为当前协方差矩阵，P
k
‑1为上一帧系统方程协方差矩阵，Q
k
为过程噪声矩阵，卡尔曼滤波状态输入为上一帧的状态估计；
[0027]式(5)为根据当前卡尔曼预测进行补偿后的状态向量和协方差矩阵；
[0028][0029]其中是运动补偿之后的KF预测状态向量，为仿射矩阵的缩放和旋转部分，为当前系统状态向量，为仿射矩阵的平移部分，P
k
′
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向抖动模糊场景的DeepSORT目标跟踪方法，其特征在于，包括：(1)训练DeepSORT算法的行人检测器，根据得到的行人权重，训练行人重识别ReID网络；(2)在DeepSORT算法的目标轨迹预测阶段，采用卡尔曼滤波进行轨迹预测，采用具有仿射变换的全局运动补偿GMC，对卡尔曼滤波进行补偿；(3)在DeepSORT算法的数据关联阶段，采用欧式距离匹配，对级联匹配未成功的轨迹进行再次匹配；(4)获取视频，进行行人目标跟踪。2.根据权利要求1所述的方法，其特征在于，步骤(1)中，使用Crowdhuman数据集进行行人检测器的训练，使用Market
‑
1501数据集对行人重识别ReID网络进行训练。3.根据权利要求1所述的方法，其特征在于，步骤(2)中，对于一个帧数为k的视频流，对第k
‑
1帧进行目标位置旋转、缩放和平移操作，得到第k帧的目标坐标预测，补偿卡尔曼滤波非线性运动预测的偏差。4.根据权利要求1或3所述的方法，其特征在于，步骤(2)包括：(201)使用8维空间矢量定义目标模型，如式(1)所示；其中x
k
为系统状态向量；x,y是边界框bbox的中心坐标；r,h分别为边界框bbox的宽高比和高度；x
′
,y
′
,r
′
,h
′
分别为x,y,r,h的速度变化值；z
k
为检测器检测的测量向量；z
x
(k),z
y
(k),z
r
(k),z
h
(k)分别为检测器测量的中心坐标，以及以边界框宽高比和高度的测量值；(202)计算仿射矩阵，对卡尔曼预测进行补偿；将目标从图像中扣除，对相邻两帧背景图像做特征点提取处理，使用稀疏光流滤除异常点，将相邻两帧进行特征点匹配，再使用随机采样一致性算法RANSAC计算仿射矩阵；常点，将相邻两帧进行特征点匹配，再使用随机采样一致性算法RANSAC计算仿射矩阵；其中为仿射矩阵，M2×2和T2×1为位置转换矩阵H中选取的...

【专利技术属性】
技术研发人员：杨玉东，张秀文，戴骥，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：