基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统技术方案

本发明专利技术提供了一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，该方法首先离线训练深度学习CNN模型，建立车辆白天、夜间红外分类器。其次，系统采集一帧图像，检测车辆：白天用动静目标检测方法获得运动、静止目标，用白天分类器分出车辆；夜间用车灯方法检测车灯位置，用夜间分类器检测车辆位置。然后，为检测到每个车辆目标初始化卡尔曼滤波器。接着下一帧，检测当前帧的车辆位置，使用上一帧车辆目标的卡尔曼滤波器预测位置；对比检测位置与预测位置，接着将上一帧图的车辆目标与当前帧图的车辆的位置连接起来，获取车辆的跟踪路径。最后，系统在视频中画出车辆的连续帧路径。

Full time vehicle detection and tracking method and system based on Calman filtering and depth learning

The invention provides a full time vehicle detection and tracking method in video based on Calman filtering and deep learning. First, off-line training deep learning CNN model is established, and vehicle daytime and nighttime infrared classifiers are built. Secondly, the system collects a frame of image and detects vehicle. During the day, moving and stationary targets are acquired by moving and static target detection method during the day, and vehicles are separated by daytime classifiers. The location of vehicle lights is detected by vehicle lights at night, and vehicle location is detected by night classifier. Then, the Calman filter is initialized for each vehicle target. Then the next frame detection, vehicle position in the current frame, Calman filter is used to frame a vehicle target location prediction; contrast detection position and the predicted position, then connect the vehicle on a frame diagram and the current frame diagram of the vehicle location, vehicle access path tracking. Finally, the system draws the continuous frame path of the vehicle in the video.

【技术实现步骤摘要】
基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
本专利技术属于图像识别、视频分析、车辆识别领域，尤其涉及一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统。
技术介绍
随着社会的发展、人们生活水平的不断提高，汽车逐渐得到普及。但随之而来的是交通事故，尤其是恶性交通事故趋势不断上升。近年来，车辆的增长速度已经远远高于道路和其他交通设施的增长速度，因此，交通事故不断发生，人员伤亡与日俱增、财产损失严重。造成交通事故的原因主要有超速行驶、占道行驶、酒后驾驶、疲劳驾驶等。因此，对于交通管理部门，通过视频监控对车辆运行状态进行监督，并加大处罚力度；同时对于驾驶员如果能提前观察到前方车辆，那么可以避免绝大多数的事故。基于上面，车辆检测跟踪技术具有重要的应用价值和发展前景。智能交通视频监控算法主要包含车辆检测、车辆跟踪和车辆行为分析三个步骤。车辆检测实现初始交通场景中车辆目标的提取；车辆跟踪对提取的车辆目标进行实时的运动描述，并生成各自的运动轨迹；行为分析基于产生的运动轨迹的规律来判断车辆是否发生违章行为或处于异常状态。常见跟踪算法可归为以下四类。(1)基于区域的跟踪算本文档来自技高网...

【技术保护点】
一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于包括以下步骤：步骤1：采用深度学习的方法，建立夜间、白天车辆图像样本库，采用CAFFE框架，离线训练深度学习CNN模型，并建立白天车辆分类器、夜间红外分类器；步骤2：从视频源中采集一帧图像，判断当前时间是白天还是夜间，白天进入步骤3，夜间进入步骤4；步骤3：白天，使用动静目标检测方法获得当前帧的运动、静止目标，使用白天车辆分类器分出车辆目标，即使用背景差分方法检测运动区域，遍历非运动区域使用车辆分类器进行检测静止目标；步骤4：夜间，使用基于车灯方法检测出车灯位置，使用夜间红外分类器检测车辆位置；步骤5：判断是否为视频源的第一...

【技术特征摘要】
1.一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于包括以下步骤：步骤1：采用深度学习的方法，建立夜间、白天车辆图像样本库，采用CAFFE框架，离线训练深度学习CNN模型，并建立白天车辆分类器、夜间红外分类器；步骤2：从视频源中采集一帧图像，判断当前时间是白天还是夜间，白天进入步骤3，夜间进入步骤4；步骤3：白天，使用动静目标检测方法获得当前帧的运动、静止目标，使用白天车辆分类器分出车辆目标，即使用背景差分方法检测运动区域，遍历非运动区域使用车辆分类器进行检测静止目标；步骤4：夜间，使用基于车灯方法检测出车灯位置，使用夜间红外分类器检测车辆位置；步骤5：判断是否为视频源的第一帧；如果是第一帧，则为当前车辆目标建立卡尔曼滤波器，对卡尔曼滤波器进行初始化，否则进入下一帧，回到步骤2；步骤6：获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据；使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置；步骤7：综合对比检测位置与预测位置，如果相同，则目标前后帧连接；如果预测位置没检测到目标，则使用车辆分类器判断车辆是否停止；如果检测位置不在预测位置，则判断是否是新产生，从而综合更新当前帧图数据；步骤8：更新全部车辆目标状态，更新车辆目标的卡尔曼滤波器的参数，将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来，再进入下一帧，回到步骤2，从而获取车辆目标的跟踪路径。2.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤1包括以下步骤：(a)获取白天车辆截图、白天背景截图各一万张，建立白天车辆分类器的训练库、验证库以及图像路径标签TXT；获取夜间车辆截图、夜间背景截图各一万张，建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT；(b)选择CAFFE深度学习框架，部署运行，依次将白天、夜间的训练库图像转化成LMDB格式；(c)选择其GoogLeNet的CNN模型，并配置文件白天与夜间的train_val_googlenet.prototxt的参数：训练LMDB路径、验证LMDB路径以及输出类型数目；(d)配置白天与夜间的solver_googlenet.prototxt文件参数，执行训练命令，进行训练。3.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤3包括以下步骤：(a)首先计算出监控场景的当前时刻的图像背景模型，采集当前帧的前N帧视频图像序列，将视频图像序列转换为灰度图，进行图像滤波，滤除噪声；提取该连续N帧图的每一点的灰度值，计算N帧图上每个点的灰度值的平均值，将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点，从而得到当前帧的背景模型，其中N为自然数；(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分，得到前景灰度图；(c)将前景灰度图分为M个相同大小的子区域，M为自然数，分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q，并计算出每个子区域的灰度阈值T，公式如下：T＝a*E+b*P+c*Q,其中a,b,c均为自由参数，根据每个子区域灰度阈值T对每个子区域进行全局二值化处理，得到前景二值图；(d)采用区域生长算法标记前景二值图中全部连通域，获得当前帧图中的全部目标，使用车辆分类器从检测的全部目标中分类出车辆目标，从而获得当前帧图中的车辆目标数据；(e)对其他非运动区域，使用白天车辆分类器进行遍历，从而检测出静止的车辆...

【专利技术属性】
技术研发人员：车少帅，
申请(专利权)人：江苏鸿信系统集成有限公司，
类型：发明
国别省市：江苏,32