基于深度卷积神经网络的车辆违停逆行检测方法技术

基于深度卷积神经网络的车辆违停逆行检测方法，用移动终端检测点作为道路摄像头，移动终端检测点通过摄像头获取图像信息，将深度学习引入路面事件识别并加以改进，以显著提高道路事件识别准确率。本发明专利技术利用卷积神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路非法停车、车辆逆向行驶等目标。本发明专利技术应用于路面违停检测、车辆逆行检测等非实时性任务，充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率车辆违停和车辆逆行等路面事件检测。

Vehicle retrograde detection method based on depth convolution neural network

The depth of convolutional neural network illegally parked vehicles retrograde detection method based on mobile terminal detection point as road camera, mobile terminal detection points through the camera to obtain the image information, the deep learning into pavement event recognition and improvement, in order to significantly improve the recognition accuracy of road events. The invention uses a convolutional neural network for image analysis, divides the region into a plurality of ROI pavement construction of road network, road recognition model, through non road grid reverse recognition of highway illegal parking, vehicle reverse driving etc.. The invention is applied to the road illegally parked vehicle retrograde detection, detection of non real-time tasks, make full use of the features and advantages of mobile Internet, to achieve low cost high coverage area of illegally parked vehicles and other road vehicle retrograde event detection.

【技术实现步骤摘要】
基于深度卷积神经网络的车辆违停逆行检测方法
本专利技术属于深度特征的视频检测
，涉及路面事件的检测，基于Deep-CNN路面反向识别模型进行车辆违停或逆行检测，以及对检测结果的数据分析与数据挖掘，为一种基于深度卷积神经网络(Deep-CNN)的车辆违停逆行检测方法。
技术介绍
道路事故，交通拥堵，环境污染是当今公路交通发展面临的普遍性难题。道路交通安全状况令人堪忧，道路信息化与智能交通系统(IntelligentTransportationSystem，ITS)是提升道路设施利用效率，缓解交通堵塞，降低交通事故发生率的有效手段。通过计算机视觉技术实时感知道路车速、流量等交通流参数，提供实时路况，并结合历史数据对路网通行状态和出行时间进行预测，以自动视频分析代替人工监看，从海量视频中检测道路异常事件，包括路面遗留物检测、高速公路违法停检测等高危事件，对提高公路信息化水平和公众服务能力都具有非常重要的意义。
技术实现思路
本专利技术要解决的问题是：随着道路监控视频数量大幅攀升，仅依靠人工无法实现既有视频资源有效管理。通过计算机视频分析自动分析交通监控视频，提取交通参数，自动发现并主动上报异常事件，可大幅减少交通管理的人力成本，提高管理水平与事件应急响应能力。本专利技术的技术方案为：基于深度卷积神经网络的车辆违停逆行检测方法，基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面非法停车、逆行等目标，包括以下步骤：Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行道路事件车辆违停逆行检测识别，设与分别为T0与T0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。所述的车辆违停或逆行检测具体为：Step1.1：对实时视频图像中的路面设置禁止区域ROI禁，视频窗口图像网格化后，根据路面—非路面识别模型进行分类；Step1.2：连通ROI禁区域内非路面网格图片Ii,j，生成候选目标Ok；Step1.3：对候选目标Ok分类识别，如果为车，则锁定为车辆目标；Step1.4：计算初始时刻T0与t时刻后T0+t之间车辆目标位移距离与方向，和正常道路车辆方向进行对比；Step1.5：判定车辆违停或逆行行为。进一步的，Step1和Step2具体为：1)设置感兴趣区域ROI路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的兴趣域ROI路面，也就是有效检测区域；2)非检测区域漫水填充：非ROI路面为非监测区域，进行漫水填充处理，填充后，落在ROI路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；3)检测区域ROI路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI路面的分块中非路面的网格图片连起来，记为Ip,q，即路面，Ip,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。本专利技术充分利用现有视频监控设施和海量视频数据，可最大限度节省硬件投入，获得更丰富直观的交通数据，满足交通管理与公众服务的数据/信息需求。本专利技术建立了基于Deep-CNN的反向路面识别模型，利用Deep-CNN路面模型解决移动摄像机与图像目标检测，应用于车辆违停检测、逆行检测等任务。与地感线圈、雷达等传统技术相比，监控视频含有路面、车辆、路面遗留物等图像信息，通过CNN神经网络提取上述特征并基于Deep-CNN检测路面车辆违停、逆行等异常事件信息，识别道路事故并及时发送图文报警，提供比传统车检设备更丰富的道路事件信息。本专利技术在监测区域大范围部署移动终端，形成移动终端检测点，通过移动通信设备或道路监控进行交互式标定，确定摄像头参数后，使用摄像头采集图像，利用CNN神经网络对采集的图像作进一步分析，获得当前每个图像的ROI数据，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车、逆向行驶等目标。本专利技术移动终端检测点为道路摄像头，自身价格低廉，充分利用移动互联网优势，不需要昂贵的监测仪器设备，只需道路上现成的摄像头，可大范围部署，现场检测路面信息通过移动互联网传输至服务器。充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率路面事件检测。附图说明图1为本专利技术基于Deep-CNN反向识别路面事件检测流程图图2为本专利技术使用的Deep-CNN模型原理。(a)Softplus与ReLU激活函数(b)Deep-CNN网络结构。图3为本专利技术Deep-CNN路面识别模型检测图。(a)ROI检测区域划分(b)漫水法填充清除非ROI区域像素(c)网格化Deep-CNN输入及目标检测。图4为本专利技术移动终端单帧照片路面检测训练图。(a)手持移动终端照片(b)车道ROI区域路面检测效果。图5为本专利技术实施的选取江苏省宁连高速公路场景进行基于Deep-CNN路面反向识别模型禁区违停、逆行检测效果图(a)路面ROI(b)违停检测(c)逆行检测(d)逆行检测。具体实施方式本专利技术将深度学习引入路面事件识别并加以改进，可显著提高道路事件识别准确度。考虑到车辆为静态目标，而传统背景建模方法不适用于静态目标检测，以及路面遗留物难以使用先验模型构造训练集，使得同样作为静态目标的路面遗留物会与违停车辆混淆的情况。本专利技术建立了基于深度卷积神经网络Deep-CNN的路面反向识别模型，移动终端检测点为道路摄像头，移动终端检测点通过摄像头获取图像信息，利用CNN神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车和逆向行驶。本专利技术构建了基于Deep-CNN网络的分层道路事件识别框架：其基本思想是分层识别，通过路面—非路面识别，进而反向识别路面目标物，路面反向识别过程为：首先进行路面模型训练，将视频窗口的感兴趣区域(RegionofInterest,ROI)网格化分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类本文档来自技高网...

【技术保护点】
基于深度卷积神经网络的车辆违停逆行检测方法，其特征是基于深度卷积神经网络Deep‑CNN网络模型，Deep‑CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车或逆行等目标，包括以下步骤：Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI

【技术特征摘要】
1.基于深度卷积神经网络的车辆违停逆行检测方法，其特征是基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别非法停车或逆行等目标，包括以下步骤：Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行道路事件车辆违停逆行检测识别，设与分别为T0与T0+t时刻的第k个前景候选目标的位置，计算前景候选目标在图像区域位移的欧氏距离获取第k个前景候选目标运动状态与方向，进一步确定目标是否存在停止或逆行状态。2....

【专利技术属性】
技术研发人员：阮雅端，高妍，赵博睿，陈金艳，陈启美，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32