一种检测车辆违章压线的方法技术

本发明专利技术公开了一种检测车辆违章压线的方法，包括如下步骤：读入视频，并抽取所述视频中的视频帧；通过基于深度学习的目标检测技术和图像语义分割技术对所述视频帧进行车辆检测和车道线分割；融合所获得的车辆检测图和车道线分割图，获得融合图像，并进行压线判断；确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储。与现有技术相比，本发明专利技术适用于可移动设备，能覆盖任意监控范围，且在各种天气、光照环境下具有高鲁棒性的违章压线检测性能。

A Method for Detecting Violatory Line Pressing of Vehicles

【技术实现步骤摘要】
一种检测车辆违章压线的方法
本专利技术是涉及一种检测车辆违章压线的方法，具体说，是涉及一种基于深度学习的目标检测和图像语义分割技术检测车辆违章压线的方法，属于计算机视觉检测

技术介绍
随着生活水平的提高，道路上的车辆相应增多，违章压线也随之增加。而违章压线不仅妨碍了广大车友的正常出行，还增加了事故率。这对检测车辆违章压线的相关研究提出了更多的技术需求。现有技术采用的检测方法为：先使用一定先验知识划定感兴趣区，再使用边缘检测和霍夫变换拟合出车道线，最后通过判断车道线区域是否有车辆来判断是否压线。但是，在不同天气、光照的应用场景中，这种方法会出现较大误差。另外，现有技术为了判断实虚线，都会使用投影变换，需将图片转换成“鸟瞰图”，这种技术需要摄像机的标定参数，检测过程相对繁琐，并且误差较大，不具备良好的鲁棒性。
技术实现思路
针对现有技术存在的上述问题和需求，本专利技术的目的是提供一种可适用于各种天气和光照环境下、且具有良好鲁棒性的检测车辆违章压线的方法。为实现上述目的，本专利技术采用的技术方案如下：一种检测车辆违章压线的方法，包括如下步骤：S1、读入电子摄像设备所采集的与车辆行驶相关的视频，并抽取所述视频中的视频帧；S2、通过基于深度学习的目标检测技术对所述视频帧进行车辆检测，获得车辆检测图；S3、通过基于深度学习的图像语义分割技术对所述视频帧进行车道线分割并进行车道线后处理，获得车道线分割图；S4、融合步骤S2所获得的车辆检测图和步骤S3所获得的车道线分割图，获得融合图像，并进行压线判断；S5、确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；S6、如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储。一种优选方案，步骤S2采用YOLOv3算法进行车辆检测，所述车辆检测图包括车辆在视频帧中回归出的矩形框，该矩形框对应检测车辆在图像中的回归位置。进一步优选方案，使用矩形框的左上角和右下角这两个坐标确定检测车辆的具体位置。进一步优选方案，使用矩形框的下底边中点作为压线触发位置。一种优选方案，步骤S3采用SCNN语义分割网络进行车道线分割。一种优选方案，步骤S3中的车道线后处理包括边缘检测、图像形态学膨胀和基于阈值的判断和输出，其中，所述图像形态学膨胀是通过增加膨胀算子将图像断点连通，所述基于阈值的判断和输出是基于两帧车道线象素之间的差值与阈值的比较判断车道线是否丢失。进一步优选方案，所述边缘检测采用Canny算子检测方法。进一步优选方案，基于两帧车道线象素之间的差值与阈值的比较判断是否丢失掉车道线的操作过程为：统计与各视频帧对应的各车道线分割图中车道线的象素点个数，判断与当前帧对应的车道线分割图中所统计的象素点个数和与上一帧对应的车道线分割图中所统计的象素点个数的差值是否大于阈值，如果为是，就使与上一帧对应的车道线分割图覆盖与当前帧对应的车道线分割图并输出与上一帧对应的车道线分割图，如果为否，就输出与当前帧对应的车道线分割图。进一步优选方案，所述阈值选用象素点统计总数的2.6％～5％的数值。一种优选方案，步骤S4的操作包括：统一所述车辆检测图和所述车道线分割图的大小，如果车辆中心出现在车道线分割图上，就判断为出现压线行为；在车道线分割图上获得压线判断坐标位置的象素值，如果所述压线判断坐标位置的象素值满足设定条件，则判断为压线，否则为不压线。一种优选方案，步骤S5中所述的感兴趣区域为左拐压线区域或右拐压线区域，是以压线判断点在视频中点的左边或右边进行确定。一种优选方案，步骤S5对压线帧中的感兴趣区域的确定过程为：依据压线判断点在视频中点的左边或右边，获取相应感兴趣区域的原图并且进行灰度化、自适应灰度拉伸、并进行二值化处理，留下车道线。进一步优选方案，步骤S5应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断的过程包括：使用水平投影统计所述融合图像中每行象素值大小等于255的象素点个数；将各行统计结果存放到列表的相应位置中；当所述列表中某一行的象素点个数大于车道线的宽度阈值时，就认为该行存在车道线，否则认为该行是不存在车道线的空白区域；以及通过以下选项中的至少一项来确定所述压线帧中的压线为虚线：所述列表的第一行为空白区域、所述列表的中间行为空白区域、所述列表中至少两段离散区域存在车道线、所述车道线的连续长度小于或等于设定的长度阈值。相比较于现有技术，本专利技术具有如下有益效果：由于本专利技术通过融合基于深度学习的目标检测网络和基于深度学习的图像语义分割网络分别输出的信息，可在二维图像上去判断是否压线，不需要检测车辆的全部语义信息，且不使用运动轨迹，是随着视频实时判定压线，尤其是，本专利技术不仅可以检测压线，还能进行实虚线判断，对是否违章压线做出准确分析；不仅可适用于各种天气、光照环境，而且鲁棒性好；因此，本专利技术相对于现有技术具有显著进步性，对抑制不文明开车和违章压线行为具有重要价值。附图说明图1是本专利技术实施例提供的一种检测车辆违章压线的方法的流程图；图2是本专利技术实施例提供的车道线后处理的流程图；图3是本专利技术实施例进行车道线前后处理的实例对比图；图4是本专利技术实施例进行压线时车道线前后处理的实例对比图；图5是本专利技术实施例提供的感兴趣区域模板设置流程图；图6是本专利技术实施例提供的感兴趣区域设置的示意图；图7是本专利技术实施例提供的水平投影后的判断过程图；图8是本专利技术实施例提供的实虚线判断流程图；图9是本专利技术实施例提供的实虚线实景图；图10是本专利技术实施例提供的晴天车辆压实线的实景图；图11是本专利技术实施例提供的晴天车辆压虚线的实景图；图12是本专利技术实施例提供的雨天车辆压实线的实景图。具体实施方式以下结合附图对本专利技术进行详细描述。需要说明的是，只要不构成冲突，本专利技术中的各个方面中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。实施例请参阅图1所示，本实施例所述的检测车辆违章压线的方法，包括如下步骤：S1、读入电子摄像设备所采集的与车辆行驶相关的视频，并抽取所述视频中的视频帧；如果上述抽取视频帧的操作失败，则继续读入视频；如果抽取视频帧成功，则分别执行步骤S2和S3；S2、通过基于深度学习的目标检测技术对所述视频帧进行车辆检测，获得车辆检测图；S3、通过基于深度学习的图像语义分割技术对所述视频帧进行车道线分割并进行车道线后处理，获得车道线分割图；S4、融合步骤S2所获得的车辆检测图和步骤S3所获得的车道线分割图，获得融合图像，并进行压线判断；如果压线判断为没有压线，则继续读入视频；如果有压线，则执行步骤S5；S5、确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；S6、如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储；如果确定该压线为虚线，则不作处理，并且继续读入电子摄像设备所采集的与车辆行驶相关的视频，并重复上述操作。上述电子摄像设备可以是安装于固定位置的、包括摄像装置的抓拍设备，该抓拍设备可以在该固定位置处检测车辆违章压线，进一步地，该抓拍设备可以通过自转、俯仰、平移等操作来扩大拍摄视野、改进拍摄效果；该电子摄像设备可以是包括摄像装置的便携式电子摄像设备，比如手机，行人通过手机拍摄可以便本文档来自技高网...

【技术保护点】
1.一种检测车辆违章压线的方法，其特征在于，包括如下步骤：S1、读入电子摄像设备所采集的与车辆行驶相关的视频，并抽取所述视频中的视频帧；S2、通过基于深度学习的目标检测技术对所述视频帧进行车辆检测，获得车辆检测图；S3、通过基于深度学习的图像语义分割技术对所述视频帧进行车道线分割并进行车道线后处理，获得车道线分割图；S4、融合步骤S2所获得的车辆检测图和步骤S3所获得的车道线分割图，获得融合图像，并进行压线判断；S5、确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；S6、如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储。

【技术特征摘要】
1.一种检测车辆违章压线的方法，其特征在于，包括如下步骤：S1、读入电子摄像设备所采集的与车辆行驶相关的视频，并抽取所述视频中的视频帧；S2、通过基于深度学习的目标检测技术对所述视频帧进行车辆检测，获得车辆检测图；S3、通过基于深度学习的图像语义分割技术对所述视频帧进行车道线分割并进行车道线后处理，获得车道线分割图；S4、融合步骤S2所获得的车辆检测图和步骤S3所获得的车道线分割图，获得融合图像，并进行压线判断；S5、确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；S6、如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储。2.如权利要求1所述的方法，其特征在于：步骤S2采用YOLOv3算法进行车辆检测，所述车辆检测图包括车辆在视频帧中回归出的矩形框，该矩形框对应检测车辆在图像中的回归位置。3.如权利要求2所述的方法，其特征在于：使用矩形框的左上角和右下角这两个坐标确定检测车辆的具体位置。4.如权利要求1所述的方法，其特征在于：步骤S3采用SCNN语义分割网络进行车道线分割。5.如权利要求1所述的方法，其特征在于：步骤S3中的车道线后处理包括边缘检测、图像形态学膨胀和基于阈值的判断和输出，其中，所述图像形态学膨胀是通过增加膨胀算子将图像断点连通，所述基于阈值的判断和输出是基于两帧车道线象素之间的差值与阈值的比较判断车道线是否丢失。6.如权利要求5所述的方法，其特征在于，基于两帧车道线象素之间的差值与阈值的比较判断是否丢失掉车道线的操作过程为：统计与各视频帧对应的各车道线分割图中车道线的象素点个数，判断与当前帧对应的车道线分割...

【专利技术属性】
技术研发人员：姜晓燕，于润润，黎阳，方志军，朱凯赢，熊玉洁，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海,31