一种基于深度学习的车辆闯红灯识别判定方法技术

本发明专利技术提供一种基于深度学习的车辆闯红灯识别判定方法,包括以下步骤：获取视频流，对视频流进行抽帧处理，并对视频流中的场景进行区域标定；采集车辆数据并标注，建立车辆种类标注数据集，采用Yolov5s模型对不同种类车辆进行结构化检测训练；用MobilenNetV1模型来进行红绿灯状态的分类检测，判断当前的红绿灯状态与车辆通行状态连动；对标定区域内的车辆进行轨迹追踪，对目标车辆轨迹记录；根据目标车辆轨迹结果，进行目标车辆行驶方向和闯红灯状态的判定。本发明专利技术能够很大程度上降低硬件成本，降低现场施工人员的人工和维护成本，还避免了对道路进行二次破坏，有效节省了资源又可提高准确性。提高准确性。提高准确性。

【技术实现步骤摘要】
一种基于深度学习的车辆闯红灯识别判定方法


[0001]本专利技术涉及交通信息
，尤其涉及一种基于深度学习的闯红灯识别判定方法。

技术介绍

[0002]伴随着社会的逐步发展，私家车的社会保有量呈爆发式增长，但是人民的驾驶安全意识有待提高，闯红灯等违法行为也是时有发生，并且因为闯红灯行为而造成的人身和财产安全威胁也是屡见不鲜，因此，交管部门需要对闯红灯的违法行为进行抓拍和处罚。
[0003]目前已有的闯红灯抓拍技术，多是基于智能摄像头等高成本硬件进行行为抓拍，不利于后续的迭代优化，人工维护成本也是很高的。或者以雷达方式进行行为检测的装置，往往会对正常道路进行破坏，不利于道路的养护，缩短使用年限，造成社会资源的浪费。

技术实现思路

[0004]本专利技术解决的技术问题是提供一种基于深度学习对视频流的闯红灯行为进行实时检测和判定，并完成结果推送的方法。
[0005]为解决上述技术问题，本专利技术提供的一种基于深度学习的车辆闯红灯识别判定方法，包括以下步骤：
[0006]S1：获取视频流，对视频流进行抽帧处理，并对视频流中的场景进行区域标定；
[0007]S2：采集视频流中车辆数据并标注，建立车辆种类标注数据集，采用Yolov5s模型对不同种类车辆进行结构化检测模型训练，并使用TensorRT模型优化；
[0008]S3：采用MobilenNetV1模型来进行红绿灯状态的分类检测，判断当前的红灯，绿灯或者黄灯状态，并将红绿灯状态与车辆通行状态连动；
[0009]S4：对经过标定的待检测标定区域内的车辆进行轨迹追踪，包括以下步骤：
[0010]S41：判定车辆是否在标定区域内；
[0011]S42：对进入标定区域内的车辆进行车辆初始化信息采集；
[0012]S43：进行车辆特征匹配，通过行Reid模型对目标车辆进行追踪和轨迹记录；
[0013]S5：根据步骤S43中对目标车辆追踪的轨迹结果，进行目标车辆行驶方向和闯红灯状态的判定，并推送出判定结果。
[0014]进一步的，所述步骤S1中，区域标定包括以下步骤：
[0015]S101：对视频流中的道路线和红绿灯位置信息进行标定，并将道路坐标写入数据库中；
[0016]S102：将S101中道路线属性进行标定，并生成json格式标定文件。
[0017]进一步的，所述S102中的道路线属性包括直行、右转、左转、直行左转、直行右转或无限制。
[0018]进一步的，所述S3中，红绿灯状态的分类包括以下步骤：
[0019]S301：进行红绿灯数据采集，建立红绿灯分类的数据集；
[0020]S302：对S301中的数据集进行红绿灯状态分类模型训练，并使用TensorRT模型优化。
[0021]进一步的，所述S41包括以下步骤：
[0022]S411：将标定区域中顶点位置对应关系，按照顺时针的顺序依次排列p1,p2,p3,p4；
[0023]S412：根据标定区域内部点p0，计算位置间的向量关系位置间的向量关系
[0024]S413：根据两组向量进行叉乘计算，计算公式为：
[0025][0026]S414：进行顶点的循环计算，计算公式为：
[0027][0028]S415：将四个顶点的结果信息进行统计分析，如果n
i
＜0，则可判定点标定区域内，否则不在；
[0029]S416：根据Yolov5s模型的输出结果，来进行车辆的中心点p
center
及车辆检测框的上下边缘中点p
top
,p
bottom
，共三个点的信息记录；
[0030]S417：根据记录的车辆中心点p
center
信息来判定车辆是否进入标定区域。
[0031]进一步的，所述S5中对所述目标车辆的判定方法包括所述视频流中目标车辆在前后抽帧的位置信息，判定目标车辆是否越线，判定目标车辆是否越线的计算公式为：
[0032][0033]如果n1·
n2＜0，则发生越线行为。
[0034]进一步的，所述S5中对所述目标车辆的判定方法还包括所述目标车辆是否越过所述标定区域内中斑马线前的停止线，所述方法为：
[0035]先将当前红绿灯的状态是绿灯，p
bottom
发生穿越停止线，标记状态为0；当前红绿灯的状态是黄灯，p
bottom
发生穿越停止线，标记状态为1；当前红绿灯的状态是红灯，p
bottom
发生穿越停止线，标记状态为2；
[0036]当目标车辆在标记状态2的时候，追踪到目标车辆发生左转，或者直行行为，则进行闯红灯行为标记和结果推送。
[0037]进一步的，所述视频流包括若干个电警和卡口摄像机的实时视频流。
[0038]与相关技术相比较，本专利技术具有如下有益效果：
[0039]本专利技术提供的一种基于深度学习的车辆闯红灯识别判定方法，将人工智能的技术引入到闯红灯行为的识别，通过不同模型和算法类型的组合，针对车辆在不同情况下的闯红灯行为进行抓拍判定，本专利技术可以针对普通卡口、电警摄像头下的实时视频流进行实时处理解析并抓拍，从而将处理转移到云端计算，很大程度上降低实际现场的硬件成本。多路视频流的远程部署，也可以一定程度上降低现场施工人员的人工和维护成本，还避免了对道路进行二次破坏。
[0040]本专利技术方法中使用的区域标定，可以辅助人工智能模型进行判定，从而使得整套系统，从视频流处理开始，逐步进行误差校正，达到模型推理的最优过程，并满足实时性要
求。
[0041]为让本专利技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本专利技术提供的一较佳实施例方法步骤图；
[0044]图2为本专利技术提供的实施例中检测流程图；
[0045]图3为本专利技术提供的实施例中标定区域顶点的位置对应关系图；
[0046]图4为本专利技术提供的实施例中判断车辆是否越线的算法示意图。
具体实施方式
[0047]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0048]请结合参阅图1和图2所示，一种基于深度学习的车辆闯红灯识别判定方法，包括以下步骤：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的车辆闯红灯识别判定方法，其特征在于，包括以下步骤：S1：获取视频流，对视频流进行抽帧处理，并对视频流中的场景进行区域标定；S2：采集视频流中车辆数据并标注，建立车辆种类标注数据集，采用Yolov5s模型对不同种类车辆进行结构化检测模型训练，并使用TensorRT模型优化；S3：采用MobilenNetV1模型来进行红绿灯状态的分类检测，判断当前的红灯，绿灯或者黄灯状态，并将红绿灯状态与车辆通行状态连动；S4：对经过标定的待检测标定区域内的车辆进行轨迹追踪，包括以下步骤：S41：判定车辆是否在标定区域内；S42：对进入标定区域内的车辆进行车辆初始化信息采集；S43：进行车辆特征匹配，通过行Reid模型对目标车辆进行追踪和轨迹记录；S5：根据步骤S43中对目标车辆追踪的轨迹结果，进行目标车辆行驶方向和闯红灯状态的判定，并推送出判定结果。2.根据权利要求1所述的车辆闯红灯识别判定方法，其特征在于，所述步骤S1中，区域标定包括以下步骤：S101：对视频流中的道路线和红绿灯位置信息进行标定，并将道路坐标写入数据库中；S102：将S101中道路线属性进行标定，并生成json格式标定文件。3.根据权利要求2所述的车辆闯红灯识别判定方法，其特征在于，所述S102中的道路线属性包括直行、右转、左转、直行左转、直行右转或无限制。4.根据权利要求2所述的车辆闯红灯识别判定方法，其特征在于，所述S3中，红绿灯状态的分类包括以下步骤：S301：进行红绿灯数据采集，建立红绿灯分类的数据集；S302：对S301中的数据集进行红绿灯状态分类模型训练，并使用TensorRT模型优化。5.根据权利要求1所述的车辆闯红灯识别判定方法，其特征在于，所述S41包括以下步骤：S411：将标定区域中顶点位置对应关系，按照顺时针的顺序依次排列p1,p2...

【专利技术属性】
技术研发人员：魏健康，张瑞龙，张星，吕晓鹏，张伟，刘晔，惠峰涛，
申请(专利权)人：北京易华录信息技术股份有限公司，
类型：发明
国别省市：