一种基于多目标跟踪的交通行为判定方法技术

本发明专利技术公开了一种基于多目标跟踪的交通行为判定方法。该方法通过使用多目标跟踪的方法，对交通监控场景的行人非机动车目标进行持续定位和轨迹生成，再通过分析目标的运动方向，完成当前目标的交通行为判定。具体而言，多目标跟踪的方法是首先在路口划定跟踪目标的起始区域，之后在视频流输入处理时，采取隔帧检测和基于运动外形预测相匹配的多目标跟踪策略，对行人非机动车目标进行定位与轨迹生成，在每个目标跟踪一定时间后可判定交通行为。该方法通过优化多目标跟踪的流程，并结合视觉信息与运动信息，使得对目标的跟踪更加快速准确，本方法可用于交通系统智能化分析，辅助交警治理交通违法违规现象。助交警治理交通违法违规现象。助交警治理交通违法违规现象。

【技术实现步骤摘要】
一种基于多目标跟踪的交通行为判定方法


[0001]本专利技术属于计算机视觉、智能识别
，特别地涉及到一种基于多目标跟踪的交通行为判定方法。

技术介绍

[0002]随着近年来数据通信技术、传感器技术、电子控制技术、计算机视觉技术的蓬勃发展，城市智能交通系统已经在城市中大范围覆盖、而且全天时全方位的发挥作用，通过提升交通网路通过能力、查处交通违规行为、智能调度等功能，达到缓解交通阻塞、减少空气污染、减少交通事故发生等作用。当前现有的智能交通系统多聚焦于机动车辆相关的治理和开发，而忽略了行人、非机动车、管控，据统计我国的行人、非机动车之间涉及交通事故的占比不高，然而不可忽视的是，由于高占比的机动车事故的原因，给行人、非机动车造成严重后果的比例却高居不下。对于以上两种交通实体的事故处理，需要耗费大量的警力维持秩序，但路口的数量远超人力可覆的盖范围，由于交通违规行为时有发生，也是潜在的交通事故来源，所以需要更进一步的管控与治理。
[0003]多目标跟踪是通过对视频序列中的目标进行持续的定位和身份判定，可以检测到感兴趣的多个类别的目标位置，并生成轨迹，可以用于视频监控、人机交互、自动驾驶等方面，是一项重要的视觉技术。随着深度学习的快速发展，多目标跟踪模型的性能也得到大幅提升，但依托于基于深度网络的目标检测和复杂的数据关联机制，多目标跟踪模型在效率上还比较欠缺，在诸如交通监控等时效性要求较高的场景难以作为实际应用。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于多目标跟踪的交通行为判定方法，通过对交通监控场景下的行人、非机动车目标的跟踪，可以快速准确的判定其交通行为，以辅助交警维持交通秩序。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]步骤1：输入一段交通监控场景的视频；
[0007]步骤2：给定一段交通监控视频，从中抽取一帧画面，对行人、非机动车的跟踪初始区域region
s
进行划定；
[0008]步骤3：使用OpenCV工具读取交通监控服务器的RTSP协议地址，获得实时视频流，对画面中经过跟踪初始区域region
s
的行人、非机动车目标进行跟踪，具体步骤如下：
[0009]步骤3.1：创建暂时丢失的目标集合
[0010]步骤3.2：按照顺序读取交通监控视频流中的一帧图像，输入第一帧图像时，进行全图的行人、非机动车目标检测，对于处在跟踪起始区域region
s
的目标建立基于视觉信息的单目标跟踪器和基于运动信息的卡尔曼滤波器，并存储该目标的外观特征向量；
[0011]步骤3.3：在之后输入的帧图像中每间隔固定数量的帧进行目标检测，当前帧不进行目标检测时：
[0012]步骤3.3.1：遍历当前所有的跟踪目标，分别使用基于视觉信息的单目标跟踪器、基于运动信息的卡尔曼滤波器进行位置预测，获得目标的预测位置Box
sot
、Box
kal
；
[0013]步骤3.3.2：若Box
sot
、Box
kal
的交叠覆盖度(IoU)高于阈值达成匹配，则使用Box
sot
作为观测值更新卡尔曼滤波器的状态，并获取此时卡尔曼滤波器的观测值Box
out
作为当前帧该目标的位置。
[0014]若有目标成功跟踪时间超过阈值T
track
，或到达图像的边界，则停止该目标的跟踪。
[0015]步骤3.3.3：若Box
sot
、Box
kal
的IoU低于阈值不能达成位置上的匹配，则认为目标暂时丢失，加入集合{Target
lost
}中，暂停该目标的单目标跟踪器的运行，使用卡尔曼滤波器继续进行预测；
[0016]步骤3.3.4：遍历所有{Target
lost
}中的目标，使用卡尔曼滤波器的预测结果更新自身状态，若丢失时间超过阈值，则删除该目标。
[0017]步骤3.4：当前帧需要进行目标检测时：
[0018]步骤3.4.1：进行目标检测，获取所有的目标框集合{Box
det
}；
[0019]步骤3.4.2：遍历当前所有的跟踪目标，分别使用基于视觉信息的单目标跟踪器、基于运动信息的卡尔曼滤波器进行位置预测，获得目标的预测位置Box
sot
、Box
kal
，取两者均值作为当前目标的预测值Box
pred
；
[0020]步骤3.4.3：遍历所有的Box
pred
，寻找检测结果{Box
det
}中与Box
pred
的IoU大于阈值达成匹配的包围框，若可以达成匹配，则以相匹配的检测结果作为观测值更新卡尔曼滤波器的状态，获取此时卡尔曼滤波器的观测值Box
out
作为当前帧该目标的位置，并更新该目标的外观特征向量。
[0021]若有目标成功跟踪时间超过阈值T
track
，或到达图像的边界，则停止该目标的跟踪。
[0022]步骤3.4.4：若步骤
③
中的Box
pred
没有检测结果与之匹配，则认为该目标暂时丢失，加入{Target
lost
}中，暂停该目标的单目标跟踪器，保留该目标的卡尔曼滤波器；
[0023]步骤3.4.5：遍历{Target
lost
}中的所有目标，若能与经过步骤
③
和
④
后剩余的检测结果在位置和外观特征度量上达成匹配，则重新建立该目标的单目标跟踪器，从{Target
lost
}中删除，作为正常跟踪的目标处理，如果{Target
lost
}中的目标丢失的时间超过阈值，则删除该目标；
[0024]步骤3.4.6：若经过以上步骤检测结果{Box
det
}中仍有位于跟踪初始区域region
s
的包围框，则建立新的跟踪目标，为该目标建立基于视觉信息的单目标跟踪器和基于运动信息的卡尔曼滤波器，并存储该目标的外观特征向量。
[0025]步骤3.5：继续处理交通监控视频流的剩余帧图像，重复步骤2.3和2.4，直至视频结束。
[0026]步骤4：对于步骤2中跟踪结束的目标，根据其起始位置与跟踪结束位置，进行交通行为的判定，输出该目标的跟踪ID、交通行为、发生时间和绘制轨迹的图像，判定方式如下：
[0027]步骤4.1：设定某个方向的单位向量作为参照向量以目标的初始位置向跟踪结束位置的单位向量作为计算用于判定方向的值
[0028]步骤4.2：对于行人目标，只有向左和向右横穿马路两种交通行为；而对于非机动车目标，有左转、直行和右转三种交通行为。根据value
d<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标跟踪的交通行为判定方法，其特征在于，具体包括如下步骤：(1)首先给定一段交通监控视频；(2)从这段交通监控视频中抽取一帧交通监控视频画面，对视频画面中行人、非机动车的跟踪初始区域region
s
进行划定；(3)使用OpenCV工具请求交通监控服务器的RTSP协议地址，读取到实时视频流，使用多目标跟踪技术对画面中经过跟踪初始区域region
s
的行人、非机动车目标进行跟踪，当目标被跟踪超过时间阈值T
track
或到达画面边界时结束该目标的跟踪；(4)对于步骤(3)中跟踪结束的目标，根据其起始位置与跟踪结束位置，进行交通行为的判定，输出该目标的跟踪ID、交通行为、发生时间和绘制轨迹的图像。2.根据权利要求1所述一种基于多目标跟踪的交通行为判定方法，其特征在于，所述步骤(3)中涉及的多目标跟踪技术是采用间隔帧进行目标检测的策略；以及跟踪过程中进行视觉、运动预测的匹配，具体步骤为：(1)按照顺序读取交通监控视频流中的一帧图像，输入第一帧图像时，进行对行人、非机动车目标检测，对于处在跟踪起始区域region
s
的目标进行基于视觉信息和运动信息的建模，并存储该目标的外观特征表示。其中，基于视觉信息的建模为建立该目标的外观特征表示与空间位置的相关性，基于运动...

【专利技术属性】
技术研发人员：王润发，于慧敏，齐国栋，卢朝晖，顾建波，
申请(专利权)人：浙江大学，
类型：发明
国别省市：