一种基于图像识别的公交前车违章行为自动抓拍方法及系统技术方案

本发明专利技术公开了一种基于图像识别的公交前车违章行为自动抓拍方法及系统，其中该方法主要包括步骤1，获取公交车拍摄到的公交车正前方的实时图像，步骤2，对所述实时图像进行车道线检测和车辆检测，步骤3，占道、压线和变道等违章行为的判断，步骤4，车牌识别；实现了在不依赖于后台数据和人工介入的情况下，仅根据车载摄像头拍摄到的图像，在移动端直接实时判断前车是否存在占用公交车道，实线变道，骑压实线等违章行为，并进行违章行为的记录和/或上报。

An automatic capture method and system of bus violation based on image recognition

【技术实现步骤摘要】
一种基于图像识别的公交前车违章行为自动抓拍方法及系统
本专利技术涉及智能交通领域和图像识别领域，具体涉及一种基于图像识别的公交前车违章行为自动抓拍方法及系统。
技术介绍
随着公共交通领域的发展，公交出行成为城市居民主要的出行方式，交通拥堵问题也日益凸显。很多城市都开辟了快速公交专用车道，专门供公交车行驶，从而来提高公交车的运营效率，缓解交通压力。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：在实际的运营中，远未达到预定的目标，究其原因，非公交车占用公交车专用道的违章行为成为最主要的因素。在此背景下，对公交车专用道占道抓拍的需求日渐强烈，以此来遏制非法占用公交车道的违章行为的发生，同时可结合违章记录系统，进行协助违章行为的收集和上报。
技术实现思路
为了克服现有技术的不足，本公开实施例提供了一种基于图像识别的公交前车违章行为自动抓拍方法及系统，在不依赖于后台数据和人工介入的情况下，仅根据车载摄像头拍摄到的图像，在移动端直接实时判断前车是否存在占用公交车道，实线变道，骑压实线等违章行为，并进行违章行为的记录和/或上报。为解决自动抓拍问题，通过将检测、判断、识别模块植入到车载终端内，通过数据线与摄像头直接连接，根据检测到的车辆和车道线信息，自动判断当前行使路段是否为公交专用路段，结合时间信息判断当前时段是否为公交专用车道限行时段，根据车辆位置及车型信息判断车辆是否占用公交专用车道，若占用，系统判断该车型是否为豁免车型如公交、警车、急救车、消防车等。若判断该车为违规占用公交专用车道，则从提取到的车牌位置中抓取出车牌图像，通过车牌识别模块识别出车牌信息，结合GPS信息和时间信息，生成违章记录，上报交管部门。具体技术方案如下。第一方面，提供了一种基于图像识别的公交前车违章行为自动抓拍方法，所述方法包括如下步骤：步骤1，获取公交车拍摄到的公交车正前方的实时图像。步骤2，对所述实时图像进行车道线检测和车辆检测通过车道线检测得到车道线位置信息和车道线类型，通过车辆检测得到前车车辆位置、车牌位置，及车型信息，并把车道线信息(车道线位置信息和车道线类型)和车辆信息(前车车辆位置、车牌位置，及车型信息)进行同步。步骤3，占道、压线和变道等违章行为的判断跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型等信息，判断前车是否存在占道(占用公交车专用车道)、压线(压实线)和变道的违章行为。步骤4，车牌识别对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息,并进行违章行为记录和/或上报。优选的，步骤2中的所述车道线检测，具体步骤如下：(1)对所述实时图像进行图像增强(2)对图像增强后的图像进行图像二值化处理，得到二值化图像(3)提取车道线边缘点(4)车道线拟合(5)车道线分类。进一步的，车道线检测详细流程如下：(1)对所述实时图像进行图像增强将原图转换为灰度图，由于进行车道线检测任务时，只需要灰度图即可，然后采用基于一阶微分的边缘检测的sobel算法对图像进行边缘增强，该方法运算量小，可以满足实时需求。(2)对图像增强后的图像进行图像二值化处理，得到二值化图像设置阈值进行图像二值化处理，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级，图像二值化算法采用自适应二值化方法，优选的，所述阈值的确定采用基于图像直方图的大津算法，基于图像直方图的大津算法具有精度高的优点。(3)提取车道线边缘点在所述二值化图像中把车道线边缘部分凸显出来，为了正确确定车道线的边缘点，根据车道线特征规律筛选出车道线边缘点。所述车道线特征规律为：在二值化图像中，车道线外侧二值化图像灰度值接近于0，而车道线内侧灰度值接近于255，并且车道线内侧的横向距离具有等距性，根据这些特征，可以有效的选择出车道线的内边缘。(4)车道线拟合车道线拟合即采用拟合技术对所述车道线边缘点进行拟合，得到车道线位置信息，所述拟合技术采用两级hough变换技术，即首先采用第一级hough变换粗定位车道线极坐标位置，然后采用精定位技术精确定位车道线位置信息(车道线的极坐标)。采用两级hough变换技术可以极大降低hough变换过程中计算量和对系统存储空间的占用。(5)车道线分类根据拟合出的车道线位置信息，从原始图像中提取出实际的车道线图像，传入到车道线分类器内，得到具体的车道线类型，车道线类型包括实白线，实黄线，公交专用车道线，虚线，非车道线等。所述车道线分类器使用经过训练的卷积神经网络，因为分类任务相对简单，即使用shufflenetV2_0.5网络作为backbone网络，提取网络的前两个stage特征作为预训练特征，用实时采集到的车道线数据进行训练。最终分类进度达到99.7％。优选的，步骤2中的所述车辆检测，具体方法如下：(1)对所述实时图像进行图像增强，包括灰度直方图均衡，滤波去噪，伽马校正锐化图像。图像增强是为应对不同的天气，光照场景下摄像头成像的差异，需要将裁剪后的图像进行图像增强。(2)车辆检测：基于MTCNN人脸检测网络和shufflenetV2物体分类网络,设计出MTCNN+shuffle车辆检测分类网络，车辆检测分类网络的输入为任意大小的图像，车辆检测分类网络的输出为前车车辆位置、车牌位置，及车型信息；在定位图像场景中车辆位置的同时，定位出该车辆的车牌位置，以及车型信息(图像过小的车辆将被过滤)。在网络训练过程中，车辆检测使用MTCNN网络的训练方式，若车辆图片上有车牌信息，则将车牌的4角坐标作为特征点信息标注，于此同时在mtcnn第三阶段将车型信息以shufflenet_v2的网络结构进行并行训练，在一个网络中集合车辆，车牌，车型的信息。通过采用MTCNN多层深度卷积网络，对其网络结构进行了调整优化，针对车辆检测场景进行专门的数据标注和样本生成方式，调整优化后的模型可以检测输出3条关键信息，包括车辆在图片上的位置，车辆类型，车牌位置，提高了车辆识别精度。(3)车辆跟踪：对于已经检出的车辆，使用MTCNN-Shuffle网络的前半部分进行跟踪，持续更新其车辆的位置和车辆的车牌位置，可不进行车型识别计算。进一步的，步骤2中的车辆检测方法中，所述图像增强之前还包括图像分割：对实时图像进行分割，截取前车车辆所在实时图像中的可能存在的区域，作为有效的车辆检测区域。一般情况下，实时图像上半部分为天空和较远处的路面，处理价值比较低，先根据安装位置，将图像进行分割，截取前车车辆可能存在的区域进行车辆检测，以减少检测时间，提高检测效率。优选的，所述截取前车车辆所在实时图像中的可能存在的区域，具体为：根据图像中车道线的交点位置确定地平线位置，再根据地平线位置在图片中向上平移一定比例后作为分割线，比如以地平线距离图片下边缘的距离H为基础，向上平移距离H的20％作为分本文档来自技高网...

【技术保护点】
1.一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述方法包括如下步骤：/n步骤1，获取公交车拍摄到的公交车正前方的实时图像/n步骤2，对所述实时图像进行车道线检测和车辆检测/n通过车道线检测得到车道线位置信息和车道线类型，通过车辆检测得到前车车辆位置、车牌位置，及车型信息，并把车道线信息和车辆信息进行同步；/n步骤3，占道、压线和变道等违章行为的判断/n跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型信息，判断前车是否存在占道、压线和变道的违章行为；/n步骤4，车牌识别/n对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息，并进行违章行为记录和/或上报。/n

【技术特征摘要】
1.一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述方法包括如下步骤：
步骤1，获取公交车拍摄到的公交车正前方的实时图像
步骤2，对所述实时图像进行车道线检测和车辆检测
通过车道线检测得到车道线位置信息和车道线类型，通过车辆检测得到前车车辆位置、车牌位置，及车型信息，并把车道线信息和车辆信息进行同步；
步骤3，占道、压线和变道等违章行为的判断
跟据步骤2中得到前车车辆位置、车型信息，车道线位置、车道线类型信息，判断前车是否存在占道、压线和变道的违章行为；
步骤4，车牌识别
对存在违章行为的车辆，提取出所述车牌位置信息，通过车牌识别技术，采用简单分类网络，识别车牌上的文字信息，并进行违章行为记录和/或上报。


2.根据权利要求1所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车道线检测，具体步骤如下：
(1)对所述实时图像进行图像增强
(2)对图像增强后的图像进行图像二值化处理，得到二值化图像
(3)提取车道线边缘点
(4)车道线拟合
(5)车道线分类。


3.根据权利要求2所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车道线检测，详细流程如下：
(1)对所述实时图像进行图像增强
将原图转换为灰度图，然后采用基于一阶微分的边缘检测的sobel算法对图像进行边缘增强；
(2)对图像增强后的图像进行图像二值化处理，得到二值化图像
设置阈值进行图像二值化处理，将高于该阈值的像素部分置为最高灰度级，将低于该阈值的像素部分置为最低灰度级，图像二值化算法采用自适应二值化方法，优选的，所述阈值的确定采用基于图像直方图的大津算法；
(3)提取车道线边缘点
在所述二值化图像中把车道线边缘部分凸显出来，根据车道线特征规律筛选出车道线边缘点；所述车道线特征规律为：在二值化图像中，车道线外侧二值化图像灰度值接近于0，而车道线内侧灰度值接近于255，并且车道线内侧的横向距离具有等距性；
(4)车道线拟合
车道线拟合即采用拟合技术对所述车道线边缘点进行拟合，得到车道线位置信息，所述拟合技术采用两级hough变换技术，即首先采用第一级hough变换粗定位车道线极坐标位置，然后采用精定位技术精确定位车道线位置信息；
(5)车道线分类
根据拟合出的车道线位置信息，从原始图像中提取出实际的车道线图像，传入到车道线分类器内，得到具体的车道线类型，车道线类型包括实白线，实黄线，公交专用车道线，虚线，非车道线等；所述车道线分类器使用经过训练的卷积神经网络，即使用shufflenetV2_0.5网络作为backbone网络，提取网络的前两个stage特征作为预训练特征，用实时采集到的车道线数据进行训练。


4.根据权利要求1所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，步骤2中的所述车辆检测，具体方法如下：
(1)对所述实时图像进行图像增强，包括灰度直方图均衡，滤波去噪，伽马校正锐化图像；
(2)车辆检测：基于MTCNN人脸检测网络和shufflenetV2物体分类网络,设计出MTCNN+shuffle车辆检测分类网络，车辆检测分类网络的输入为任意大小的图像，车辆检测分类网络的输出为前车车辆位置、车牌位置，及车型信息；
(3)车辆跟踪：对于已经检出的车辆，使用MTCNN-Shuffle网络的前半部分进行跟踪，持续更新其车辆位置和车牌位置。


5.根据权利要求4所述的一种基于图像识别的公交前车违章行为自动抓拍方法，其特征在于，所述对所述实时图像进行图像增强之前还包括图像分割：
对实时图像进行分割，截取前车车辆所在实时图像中的可能存在的区域，作为有效的车辆检测区域。

【专利技术属性】
技术研发人员：张兵，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：江苏;32