一种监控视频的多目标跟踪方法及系统技术方案

本发明专利技术提供了一种监控视频的多目标跟踪方法及系统，涉及计算机视觉技术与民航交通运输工程技术领域，获取待跟踪实时监控视频；将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；将待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹；通过对YOLOv4神经网络和DeepSORT神经网络进行改进并训练得到，多目标识别模型和多目标跟踪模型，能够自动确定待跟踪实时监控视频中多个目标的跟踪轨迹，提高了视频监视的智能化水平。水平。水平。

【技术实现步骤摘要】
一种监控视频的多目标跟踪方法及系统


[0001]本专利技术涉及计算机视觉技术与民航交通运输工程
，特别是涉及一种监控视频的多目标跟踪方法及系统。

技术介绍

[0002]近些年，随着民用航空业的快速发展，机场区域日益扩大，跑道、滑行道、机坪等机场场面交通情况越来越复杂，飞机在场面上发生冲突的概率增加。北京、上海、西安等的大型机场均存在多条跑道，机场场面时常出现拥堵现象。此外，候机楼的视线遮挡造成机场停机坪、部分滑行道存在监视盲区，为机场场面的交通管制埋下了安全隐患。因此，使辅助管制人员有效掌握场面交通情况对机场场面实施监控非常必要。
[0003]由于当前自动化监控系统的功能简单，依靠人工目视依然是国内大型机场主要采取的监控手段。目前，多数大流量国际机场(杭州萧山国际机场、重庆江北国际机场、深圳宝安国际机场等)采取半人工半自动化监控系统，随着机场客流量持续增加，尤其是在航班高峰期，停机坪安全监控工作的监管难度加大，这对停机坪监控人员的工作能力提出了更高要求。由于场面车辆和人员较多，作业时限性高且环境相对恶劣，停机坪的安防监控普遍人手不足，传统的人工目视监控管理手段存在安全瓶颈，监管不力容易导致机场安全事故的发生。因此，传统的人工目视已经难以满足机场场面的监控需求，当前亟需提高场面视频监视系统的智能化水平。

技术实现思路

[0004]本专利技术的目的是提供一种监控视频的多目标跟踪方法及系统，能够对监控视频中的多个目标进行跟踪，提高视频监视的智能化水平。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种监控视频的多目标跟踪方法，包括：
[0007]获取待跟踪实时监控视频；
[0008]将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；
[0009]将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4
‑
TS神经网络进行训练得到的；所述YOLOv4
‑
TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；
[0010]根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。
[0011]可选的，在所述获取待跟踪实时监控视频之前，还包括：
[0012]获取历史监控视频；
[0013]按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监
控视频帧序列；
[0014]对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；
[0015]确定标注历史监控视频帧序列的历史目标信息组序列；
[0016]以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4
‑
TS神经网络进行训练，得到所述多目标识别模型。
[0017]可选的，在所述获取待跟踪实时监控视频之前，还包括：
[0018]对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；
[0019]对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；
[0020]对所述历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；
[0021]利用Darklabel标注工具对所述第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；
[0022]将多个所述历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到所述多目标跟踪模型。
[0023]可选的，在获取待跟踪实时监控视频之前，还包括：
[0024]获取与所述待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；
[0025]利用所述预训练视频对所述多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。
[0026]可选的，所述根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹，具体包括：
[0027]令迭代次数m等于1；
[0028]确定所述初始跟踪轨迹为第0次迭代时的跟踪轨迹；
[0029]利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组；
[0030]利用IoU匹配算法对第一未匹配目标组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第二目标
‑
跟踪轨迹匹配组；
[0031]将第一目标
‑
跟踪轨迹匹配组和第二目标
‑
跟踪轨迹匹配组合并为总匹配组；
[0032]根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；
[0033]利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿真显示；
[0034]令m的数值增加1并返回步骤“利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组”，直至遍历目标信息组序列，得到待跟踪实时监控视频所在时段的多个目标的跟踪轨迹。
[0035]可选的，所述利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息
组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组，具体包括：
[0036]确定第m个的目标信息组中任一目标为当前目标；
[0037]确定第m
‑
1次迭代时的多条跟踪轨迹中任一跟踪轨迹为当前跟踪轨迹；
[0038]根据所述当前目标的坐标，利用公式确定当前目标和当前跟踪轨迹的运动信息值；其中，d
(1)
(i,j)为第i个跟踪轨迹和第j个目标的运动信息值，D
j
表示第j个目标的检测结果，P
i
表示第i个跟踪轨迹，S
i
表示由卡尔曼滤波预测得到的平均轨迹位置与检测位置间的协方差矩阵；
[0039]根据所述运动信息值，确定当前目标和当前跟踪轨迹的第一匹配度量值；
[0040]根据所述当前目标的外观特征，利用公式确定当前目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监控视频的多目标跟踪方法，其特征在于，所述方法包括：获取待跟踪实时监控视频；将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4
‑
TS神经网络进行训练得到的；所述YOLOv4
‑
TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。2.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：获取历史监控视频；按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；确定标注历史监控视频帧序列的历史目标信息组序列；以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4
‑
TS神经网络进行训练，得到所述多目标识别模型。3.根据权利要求2所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；对所述历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；利用Darklabel标注工具对所述第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；将多个所述历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到所述多目标跟踪模型。4.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在获取待跟踪实时监控视频之前，还包括：获取与所述待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；利用所述预训练视频对所述多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。5.根据权利要求4所述的监控视频的多目标跟踪方法，其特征在于，所述根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个
目标的跟踪轨迹具体包括：令迭代次数m等于1；确定所述初始跟踪轨迹为第0次迭代时的跟踪轨迹；利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组；利用IoU匹配算法对第一未匹配目标组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第二目标
‑
跟踪轨迹匹配组；将第一目标
‑
跟踪轨迹匹配组和第二目标
‑
跟踪轨迹匹配组合并为总匹配组；根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿真显示；令m的数值增加1并返回步骤“利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组”，直至遍历目标信息组序列，得到待跟踪实时监控视频所在时段的多个目标的跟踪轨迹。6.根据权利要求5所述的监控视频的多目标跟踪方法，其特征在于，所述利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m
‑
1次迭代时的多条跟踪轨迹进行匹配，得到第一目标
‑
跟踪轨迹匹配组和第一未匹配目标组具体包括：确定第m个的目标信息组中任一目标为当前目标；确定第m
‑
1次迭代时的多...

【专利技术属性】
技术研发人员：丁萌，周嘉麒，曹云峰，魏丽，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：