基于公交车载视频的交通违法实时流动监测方法及系统技术方案

本发明专利技术涉及一种基于公交车载视频的交通违法实时流动监测方法及系统，该方法包括：使用公交车载前置摄像设备拍摄高清视频并进行去模糊增强；使用级联神经网络进行车道线识别与分类；使用目标检测与多目标跟踪算法进行环境车辆检测与跟踪；根据车辆与车道线的相对位置判断环境车辆是否存在交通违法行为及其类型；若车辆存在交通违法行为，采集图像线索并发送至交通违法管理云平台进行人工校核与判罚。与现有技术相比，本发明专利技术可基于公交车载视频对交通违法行为进行高频率、定时定线的实时流动监测，相比传统交通违法监测方法具有覆盖时空范围广、低成本、高效率的优点，有助于提高对交通违法行为的监管能力与效率。对交通违法行为的监管能力与效率。对交通违法行为的监管能力与效率。

【技术实现步骤摘要】
基于公交车载视频的交通违法实时流动监测方法及系统


[0001]本专利技术涉及道路交通管理
，尤其是涉及一种基于公交车载视频的交通违法实时流动监测方法及系统。

技术介绍

[0002]交通违法行为是造成交通事故的重大安全隐患之一。现有的交通违法行为监测方法主要包括交通警察现场执法、使用交通技术监控设备非现场执法、公众举报交通违法行为等，但这些方法均存在一定的局限性，难以全面有效地监测交通违法行为。交通警察现场执法人力成本高企，监测范围受到有限的警力资源制约；交通技术监控设备通常安装于固定地点，监测范围同样存在局限，无法覆盖广域空间一般路段的交通违法行为，并且容易被驾驶员提前知晓从而刻意躲避；公众举报交通违法行为存在上传影像资料不符合取证标准或违法线索信息缺失的问题，举报成功率低，审核人工成本高。
[0003]因此，设计一种低成本、高效率、覆盖范围广、取证质量高的交通违法实时流动监测方法与系统对于提高交通违法监测水平具有重要意义。
[0004]公交车载视频具有覆盖时空范围广、取证成本低、线索质量高等优点，适合作为交通违法行为监测的新型数据源。在覆盖范围方面，公交车载视频可在公交运营时段内对沿线的交通违法行为进行定时定线的高频流动监测，可以有效消除固定式交通技术监控设备的监测盲区。在取证特性方面，公交车载视频随车辆运行自动录制，具有统一的格式和内嵌的时间、位置等信息，可以通过自动化的批量处理，以极低成本获取高质量的交通违法行为图像线索。尽管基于公交车载视频的交通违法监测已在部分城市开展试点，但现有方法的主要服务公交优先，监测范围局限于公交专用道，识别违法行为侧重违法占道，尚未实现对广域空间一般路段交通违法行为的流动监测。
[0005]依托日渐成熟的人工智能与机器视觉技术，低成本、高效率、高精度的交通违法行为自动识别正逐渐取代耗时费力、低效率的人工识别。通过搭建集证据收集、交通违法行为识别与有关部门人工校核一体的交通监督平台和具有广阔覆盖范围的交通违法行为流动检测系统，有助于提高对交通违法行为的监管效率，督促驾驶员保持良好驾驶习惯，提高道路交通系统的安全性。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于公交车载视频的交通违法实时流动监测方法及系统，能够有效解决传统交通违法行为监测方法人力成本高、监测范围有限、举报成功率低等问题，实现低成本、高效率、覆盖范围广、取证质量高的交通违法行为实时流动监测。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]根据本专利技术的第一方面，提供了一种基于公交车载视频的交通违法实时流动监测方法，该方法包括以下步骤：
[0009]步骤S1、采集公交车载前置摄像设备拍摄的高清视频；
[0010]步骤S2、对采集到的高清视频进行去模糊增强预处理；
[0011]步骤S3、使用级联神经网络对增强后的图像帧进行检测，获取车道线在像素坐标系下的位置并对车道线进行分类；
[0012]步骤S4、对增强后的图像帧进行目标检测，获取环境车辆的类别及像素坐标系下的位置，并使用多目标跟踪算法对同一车辆在不同图像帧中的位置进行目标跟踪；
[0013]步骤S5、使用基于空间相对位置规则的交通违法行为判定模型，判断图像帧中的环境车辆是否存在交通违法行为及交通违法行为的类型；
[0014]步骤S6、若当前图像帧中的环境车辆存在交通违法行为，截取该图像帧及其前后指定间隔内的视频数据，识别交通违法行为基本信息，保存为交通违法行为图像线索；
[0015]步骤S7、将交通违法行为图像线索发送至交通违法管理云平台，并进行校核与判罚。
[0016]优选地，所述步骤S1中的车载前置摄像设备居中安装于公交车前挡风玻璃内侧，用于拍摄内嵌摄像车辆车牌号、当前时间与地理位置水印的高清车载记录视频。
[0017]优选地，步骤S2中对高频视频进行模糊增强预处理具体为：采用循环对抗生成网络对高频视频进行模糊增强预处理；
[0018]所述的循环对抗生成网络包括第一生成器G、第二生成器F、第一判别器D
G
和第二判别器D
F
，其中，第一生成器G用于生成从模糊到清晰的图像，第二生成器F用于生成从清晰到模糊的图像，第一判别器D
G
和第二判别器D
F
分别用于评价第一生成器G、第二生成器F生成的图像与其目标的相似度。
[0019]优选地，所述步骤S3中的级联神经网络包括车道线识别网络和车道线分类网络；
[0020]所述步骤S3具体包括以下子步骤：
[0021]步骤S31、采用车道线识别网络检测车道线在像素坐标系下的位置：在竖直方向上预先选定用于识别车道线的区间，按照给定步长均分为若干行，水平方向上每行均分为若干单元；对每行各单元分别预测其属于车道线的概率，选择预测概率最大的单元作为车道线位置的预测值；拟合各坐标点获得车道线在像素坐标系下的平面曲线方程；
[0022]步骤S32、采用车道线分类网络区分车道线类别：针对每条车道线，在车道线识别网络预测的坐标点处采集图像样本，按照原图像中的顺序将所有图像样本纵向拼接为图像描述符并统一重置尺寸；使用全卷积神经网络对尺寸重置后的图像描述符进行分类，根据车道线的虚实与颜色不同，分为白虚线、白实线、黄虚线、黄实线四类。
[0023]优选地，所述步骤S4具体为：采用YOLOv5目标检测算法对增强后的图像帧进行目标检测，获取环境车辆的类别及像素坐标系下的位置，并使用DeepSORT多目标跟踪算法对同一车辆在不同图像帧中的位置进行目标跟踪；
[0024]其中，目标检测算法的检测对象包括小客车、卡车、公交车和社会大客车；目标检测与目标跟踪输出为视频中所有环境车辆在每一图像帧中检测框边界坐标。
[0025]优选地，所述步骤S5中基于空间相对位置规则的交通违法行为判定模型包括环境车辆变换车道与车道保持行为识别模型、环境车辆转向灯使用状态识别模型、公交专用道限行时段识别模型、以及违法变更车道行为判定模型。
[0026]优选地，所述环境车辆变换车道与车道保持行为识别模型，具体为：对于某一图像
帧，已知某环境车辆目标检测框的上、下、左、右边界坐标分别为bbox
top
、bbox
down
、bbox
left
、bbox
right
，车道线编号为i，则判定该车辆在当前图像帧处于变更车道状态CrossLane
i
的规则为：
[0027][0028]判定该车辆在当前图像帧处于车道保持状态inLane
i
的规则为：
[0029][0030]设置判定变更车道状态的帧数阈值为t
lc
，判断是否存在同一车辆连续t
lc
帧及以上识别结果为变更车道状态，若是则判定该车辆存在变道行为；
[0031]所述环境车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，该方法包括以下步骤：步骤S1、采集公交车载前置摄像设备拍摄的高清视频；步骤S2、对采集到的高清视频进行去模糊增强预处理；步骤S3、使用级联神经网络对增强后的图像帧进行检测，获取车道线在像素坐标系下的位置并对车道线进行分类；步骤S4、对增强后的图像帧进行目标检测，获取环境车辆的类别及像素坐标系下的位置，并使用多目标跟踪算法对同一车辆在不同图像帧中的位置进行目标跟踪；步骤S5、使用基于空间相对位置规则的交通违法行为判定模型，判断图像帧中的环境车辆是否存在交通违法行为及交通违法行为的类型；步骤S6、若当前图像帧中的环境车辆存在交通违法行为，截取该图像帧及其前后指定间隔内的视频数据，识别交通违法行为基本信息，保存为交通违法行为图像线索；步骤S7、将交通违法行为图像线索发送至交通违法管理云平台，并进行校核与判罚。2.根据权利要求1所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述步骤S1中的车载前置摄像设备居中安装于公交车前挡风玻璃内侧，用于拍摄内嵌摄像车辆车牌号、当前时间与地理位置水印的高清车载记录视频。3.根据权利要求1所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述步骤S2中对高频视频进行模糊增强预处理具体为：采用循环对抗生成网络对高频视频进行模糊增强预处理；所述的循环对抗生成网络包括第一生成器G、第二生成器F、第一判别器D
G
和第二判别器D
F
，其中，第一生成器G用于生成从模糊到清晰的图像，第二生成器F用于生成从清晰到模糊的图像，第一判别器D
G
和第二判别器D
F
分别用于评价第一生成器G、第二生成器F生成的图像与其目标的相似度。4.根据权利要求1所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述步骤S3中的级联神经网络包括车道线识别网络和车道线分类网络；所述步骤S3具体包括以下子步骤：步骤S31、采用车道线识别网络检测车道线在像素坐标系下的位置：在竖直方向上预先选定用于识别车道线的区间，按照给定步长均分为若干行，水平方向上每行均分为若干单元；对每行各单元分别预测其属于车道线的概率，选择预测概率最大的单元作为车道线位置的预测值；拟合各坐标点获得车道线在像素坐标系下的平面曲线方程；步骤S32、采用车道线分类网络区分车道线类别：针对每条车道线，在车道线识别网络预测的坐标点处采集图像样本，按照原图像中的顺序将所有图像样本纵向拼接为图像描述符并统一重置尺寸；使用全卷积神经网络对尺寸重置后的图像描述符进行分类，根据车道线的虚实与颜色不同，分为白虚线、白实线、黄虚线、黄实线四类。5.根据权利要求1所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述步骤S4具体为：采用YOLOv5目标检测算法对增强后的图像帧进行目标检测，获取环境车辆的类别及像素坐标系下的位置，并使用DeepSORT多目标跟踪算法对同一车辆在不同图像帧中的位置进行目标跟踪；其中，目标检测算法的检测对象包括小客车、卡车、公交车和社会大客车；目标检测与
目标跟踪输出为视频中所有环境车辆在每一图像帧中检测框边界坐标。6.根据权利要求1所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述步骤S5中基于空间相对位置规则的交通违法行为判定模型包括环境车辆变换车道与车道保持行为识别模型、环境车辆转向灯使用状态识别模型、公交专用道限行时段识别模型、以及违法变更车道行为判定模型。7.根据权利要求6所述的一种基于公交车载视频的交通违法实时流动监测方法，其特征在于，所述环境车辆变换车道与车道保持行为识别模型，具体为：对于某一图像帧，已知某环境车辆目标检测框的上、下、左、右边界坐标分别为bbox
top
、bbox
down
、bbox
left
、bbox
...

【专利技术属性】
技术研发人员：沈煜，毕维翰，刘璨，栗晨皓，王上游，
申请(专利权)人：同济大学，
类型：发明
国别省市：