基于SSD神经网络的违章停车车辆实时检测方法技术

本发明专利技术公开了一种基于SSD神经网络的违章停车车辆实时检测方法，主要解决现有技术在道路复杂、天气光照多变的情况下检测准确率低和鲁棒性弱的问题。其实现方案是：1.拍摄若干不同场景和天气下的车辆行驶视频，构建训练数据集；2.通过K‑Means聚类算法对数据集中车辆的长宽比进行聚类；3.利用聚类结果优化SSD网络模型，并进行训练；4.设定禁止停车区域，用训练好的网络模型对车辆进行检测，将识别到的车辆使用追踪算法进行追踪，获得车辆的运动状态，在设定时间阈值内保持静止的车辆判断为违章停车车辆。本发明专利技术不仅提高了检测的准确率，而且增强了鲁棒性，可用于各种复杂场景和不同天气状况下违章停车车辆的检测。

【技术实现步骤摘要】
基于SSD神经网络的违章停车车辆实时检测方法
本专利技术属于图像识别和计算机视觉
，尤其涉及一种停车车辆的检测方法，可用于城市环境中对违章停车车辆的检测。
技术介绍
随着现代社会经济的快速发展和城市化的普及，汽车作为一种重要的交通工具，其数量呈井喷式增长，据公安部交管局统计，截止2016年底，全国汽车保有量达1.94亿辆，新注册量和年增长量均达历史最高水平。汽车数量的增长给人们带来便利的同时，也引发了诸如交通堵塞等一系列问题，其中汽车的违章停车现象是导致交通堵塞的一种重要原因。因此，急需一种实时可靠的违章停车的检测方法。目前，针对违章停车检测方法的研究，主要集中在利用视频目标识别和跟踪技术对禁停区域内的违章停车车辆进行检测。其实现方案是利用背景分割技术，先提取可能的运动前景目标，再结合人工车辆特征判断前景目标是否为车辆，最后利用跟踪算法判断车辆是否违章停车。这种利用背景分割提取前景的方法，易受天气和光照的影响，在复杂场景下无法准确获得前景车辆目标，并且人工设计的特征具有设计难度大，不具有鲁棒性等缺点，不适用于复杂多变的城市交通环境。
技术实现思路
本专利技术的目的在于针对上述已有的违章停车检测方法的不足，提出一种基于SSD神经网络的违章停车车辆实时检测方法，以提高检测的准确率和鲁棒性。本专利技术的技术思路是：利用SSD神经网络能快速和精确识别目标的优势，通过K-means聚类方法，对训练数据集进行聚类；根据聚类结果搭建针对车辆检测的SSD网络框架，识别禁停区域内的行驶车辆；通过模板匹配算法对检测的行驶车辆进行追踪，根据其运动轨迹判断车辆是否为违章停车。其实现步骤包括如下：1)构建训练数据集：1a)采集若干个不同场景、不同拍摄角度、不同光照变化和天气情况下的车辆行驶视频，将这些视频每隔25帧保存成一张图片；1b)在每张图片上划定感兴趣区域，并对感兴趣区域内的车辆进行标注，再将标注车辆的坐标、宽高以及类别信息存入到txt格式的标签文件中；1c)合并所有标签文件，并将文件的txt格式转换为xml格式，获得与训练图像相对应的车辆类别以及位置信息的标签文件，即训练数据集；2)K-Means聚类获得车辆宽高比的K个聚类中心：2a)使用MATLAB函数importdata()读入1b)生成的txt格式的标注文件，获取标注车辆的坐标、宽高以及类别信息，将所有标注车辆的宽和高存成一个二维矩阵X，其中矩阵的列代表车辆的宽高，矩阵的行代表不同的标注车辆；2b)使用MATLAB函数Kmeans()对二维矩阵X进行K-Means聚类，得到K个聚类的车辆宽高，用聚类后的宽除以高得到K个宽高比的聚类中心；3)使用2b)得到的车辆聚类宽高比，对SSD网络模型进行优化，得到优化后的SSD网络模型；4)利用优化后的SSD网络模型和跟踪算法进行违章停车检测：4a)读取视频，得到视频流，并在视频图像中设定禁止停车区域；4b)从视频流中取第1帧图像，使用优化后的SSD网络模型对图像中禁停区域内的行驶车辆进行检测，获取车辆的位置信息；4c)取视频流中第2～25帧图像，对4b)获取的目标车辆，调用Opencv函数matchTemplate()使用模板匹配算法进行追踪，得到目标车辆的运动状态和位置信息；4d)设定交叠率阈值U＝0.6，重复4b)，根据本次SSD检测到的车辆位置与4c)跟踪结束后的车辆位置，计算交叠率u，将交叠率与交叠率阈值进行比较：若u>U，则将本次SSD检测出的目标车辆与追踪后的目标车辆判断为同一辆车，若u≤U，则判断本次SSD检测出的目标车辆为新进入禁止停车区域的车辆；4e)重复4c)-4d)，直到视频流结束，得到车辆的运动轨迹，将在设定时间阈值内保持静止的车辆判断为违章停车车辆。本专利技术与现有技术相比具有以下优点：1.检测准确率高：现有的违章停车检测方法是通过背景分割的方法进行车辆的提取，对光照天气的变化过于敏感，易出现误检漏检的情况。而本专利技术采用深度学习的方法，搭建适用于车辆检测的SSD神经网络，对视频中的车辆直接进行识别，无需对车辆进行提取的步骤，规避了背景分割的弊端，提升了检测的准确率；另外，相较于人工车辆特征的检测算法，SSD网络能自学习车辆的多尺度特征，可以准确检测出各种不同大小和角度的车辆，进一步提高了检测的准确率。经实际测试，本专利技术对汽车违章停车的检测准确率可以达到99％。2.鲁棒性好：现有的违章停车检测方法只能在交通状况良好、天气状况优良的前提下有相对较好的检测效果，监控视频拍摄角度、拍摄场景的不同以及监控探头的抖动都会影响检测结果。而本专利技术基于SSD神经网络对违章停车车辆进行检测，对各种交通状况及天气情况都有很好的普适性，能克服不同角度、场景以及监控探头抖动对检测带来的不良影响，具有较强的鲁棒性。附图说明图1为本专利技术的实现流程图；图2为本专利技术中的K-Means聚类车辆宽高比的结果图；图3为用本专利技术在不同道路状况和不同天气下对车辆的检测效果图。具体实施方式下面结合附图和实例对本专利技术进行详细说明。参照图1，本专利技术的实现步骤如下：步骤1，构建训练数据集。1a)采集若干个不同场景、不同拍摄角度、不同光照变化和天气情况下的车辆行驶视频，将这些视频每隔25帧保存成一张图片，根据视频分辨率设置图片大小为1280*720，放入JPEGImages文件夹中，本实例生成的训练图像为2000张；1b)在采集的车辆行驶视频中，将视频内下方三分之二的车道形成的T型区域作为感兴趣区域，并在每张图片上划定出该感兴趣区域，并对感兴趣区域内的车辆进行标注，再将标注车辆的坐标、宽高以及类别信息存入到txt格式的标签文件中，标注完成后，每一张图片对应一个标签文件；1c)合并所有标签文件，并将文件txt格式转换为xml格式，获得与训练图像相对应的车辆类别以及位置信息的标签文件，即构成训练数据集。步骤2，通过K-Means聚类获得车辆宽高比的K个聚类中心。2a)通过商业软件MATLAB的函数importdata()读入(1b)生成的txt格式的标注文件，把标注车辆的宽和高导入MATLAB工作区，再把导入工作区的数据存入矩阵X，其中矩阵的列代表车辆的宽高，矩阵的行代表不同的标注车辆；2b)通过商业软件MATLAB的函数Kmeans()对(2a)中生成的二维矩阵X进行聚类计算，得到K个聚类的车辆宽和高，用聚类后的宽除以高得到K个宽高比的聚类中心，本实例中K取值为10；2c)将车辆宽高比的K个聚类中心保存到txt文档中，结果如图2所示，从图2中能够得出普遍适用的车辆宽高比为：0.5，0.6，0.7；所述的importdata()函数和Kmeans()函数，均为商业软件MATLAB的自带函数。步骤3，使用(2c)得到的车辆聚类宽高比，对SSD网络模型进行优化，得到优化后的SSD网络模型。本专利技术网络的搭建以及训练参数的设置均以python文件的方式编辑实现，其实现步骤如下：3a)在linux系统下，下载和安装caffe-ssd深度学习平台；3b)根据(2c)中K-Means宽高比聚类结果修改文件ssd_pascal.py中aspect_ratios的参数，本实例修改为：aspect_ratios＝[0.5,0.6,0.7]；3c)修改caffe_ssd本文档来自技高网...

【技术保护点】
基于SSD神经网络的违章停车车辆实时检测方法，包括如下步骤：1)构建训练数据集：1a)采集若干个不同场景、不同拍摄角度、不同光照变化和天气情况下的车辆行驶视频，将这些视频每隔25帧保存成一张图片；1b)在每张图片上划定感兴趣区域，并对感兴趣区域内的车辆进行标注，再将标注车辆的坐标、宽高以及类别信息存入到txt格式的标签文件中；1c)合并所有标签文件，并将文件的txt格式转换为xml格式，获得与训练图像相对应的车辆类别以及位置信息的标签文件，即训练数据集；2)通过K‑Means聚类获得车辆宽高比的K个聚类中心：2a)使用MATLAB函数importdata()读入1b)生成的txt格式的标注文件，获取标注车辆的坐标、宽高以及类别信息，将所有标注车辆的宽和高存成一个二维矩阵X，其中矩阵的列代表车辆的宽高，矩阵的行代表不同的标注车辆；2b)使用MATLAB函数Kmeans()对二维矩阵X进行K‑Means聚类，得到K个聚类的车辆宽高，用聚类后的宽除以高得到K个宽高比的聚类中心；3)使用2b)得到的车辆聚类宽高比，对SSD网络模型进行优化，得到优化后的SSD网络模型；4)利用优化后的SSD网络模型和跟踪算法进行违章停车检测：4a)读取视频，得到视频流，并在视频图像中设定禁止停车区域；4b)从视频流中取第1帧图像，使用优化后的SSD网络模型对图像中禁停区域内的行驶车辆进行检测，获取车辆的位置信息；4c)取视频流中第2～25帧图像，对4b)获取的目标车辆，调用Opencv函数matchTemplate()使用模板匹配算法进行追踪，得到目标车辆的运动状态和位置信息；4d)设定交叠率阈值U＝0.6，重复4b)，根据本次SSD检测到的车辆位置与4c)跟踪结束后的车辆位置，计算交叠率u，将交叠率与交叠率阈值进行比较：若u>U，则将本次SSD检测出的目标车辆与追踪后的目标车辆判断为同一辆车，若u≤U，则判断本次SSD检测出的目标车辆为新进入禁止停车区域的车辆；4e)重复4c)‑4d)，直到视频流结束，得到车辆的运动轨迹，将在设定时间阈值内保持静止的车辆判断为违章停车车辆。...

【技术特征摘要】
1.基于SSD神经网络的违章停车车辆实时检测方法，包括如下步骤：1)构建训练数据集：1a)采集若干个不同场景、不同拍摄角度、不同光照变化和天气情况下的车辆行驶视频，将这些视频每隔25帧保存成一张图片；1b)在每张图片上划定感兴趣区域，并对感兴趣区域内的车辆进行标注，再将标注车辆的坐标、宽高以及类别信息存入到txt格式的标签文件中；1c)合并所有标签文件，并将文件的txt格式转换为xml格式，获得与训练图像相对应的车辆类别以及位置信息的标签文件，即训练数据集；2)通过K-Means聚类获得车辆宽高比的K个聚类中心：2a)使用MATLAB函数importdata()读入1b)生成的txt格式的标注文件，获取标注车辆的坐标、宽高以及类别信息，将所有标注车辆的宽和高存成一个二维矩阵X，其中矩阵的列代表车辆的宽高，矩阵的行代表不同的标注车辆；2b)使用MATLAB函数Kmeans()对二维矩阵X进行K-Means聚类，得到K个聚类的车辆宽高，用聚类后的宽除以高得到K个宽高比的聚类中心；3)使用2b)得到的车辆聚类宽高比，对SSD网络模型进行优化，得到优化后的SSD网络模型；4)利用优化后的SSD网络模型和跟踪算法进行违章停车检测：4a)读取视频，得到视频流，并在视频图像中设定禁止停车区域；4b)从视频流中取第1帧图像，使用优化后的SSD网络模型对图像中禁停区域内的行驶车辆进行检测，获取车辆的位置信息；4c)取视频流中第2～25帧图像，对4b)获取的目标车辆，调用Opencv函数matchTemplate()使用模板匹配算法进行追踪，得到目标车辆的运动状态和位置信息；4d)设定交叠率阈值U＝0.6，重复4b)，根据本次SSD检测到的车辆位置与4c)跟踪结束后的车辆位置，计算交叠率u，将交叠率与交叠率阈值进行比较：若u>U，则将本次SSD检测出的目标车辆与追踪后的目标车辆判断为同一辆车，若u≤U，则判断本次SSD检测出的目标车辆为新进入禁止停车区域的车辆；4e)...

【专利技术属性】
技术研发人员：谢雪梅，陈曙，石光明，王陈业，赵至夫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61