基于信号灯识别的驾驶行为预警方法及系统技术方案

本发明专利技术实施例提供一种基于信号灯识别的驾驶行为预警方法及系统，属于图像识别技术领域。所述方法包括：采集车辆行进方向的实时图像；基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标；对存在交通信号灯目标的图像进行类别标注；基于类别标注结果触发对应的预设报警信息，并将所述报警信息实时推送到车载终端。本发明专利技术方案提高了复杂场景下交通信号灯的识别精准度，且构建轻量级网络模型进行交通信号灯的识别，减少了网络中参数量和计算量，提升了训练及检测速度，从而满足在移动端或嵌入式端实现功能。实现功能。实现功能。

【技术实现步骤摘要】
基于信号灯识别的驾驶行为预警方法及系统


[0001]本专利技术涉及图像识别
，具体地涉及一种基于信号灯识别的驾驶行为预警方法及一种基于信号灯识别的驾驶行为预警系统。

技术介绍

[0002]随着私有车辆保有量逐年递增，交通环境也变得愈发紧张，为了在这种场景下实现高效和安全的交通运输，使用了一系列的交通控制信息来指导驾驶员通行，其中交通信号灯是防止交通事故和控制交通流通的最重要的信息。但是有时由于路况的复杂性、天气环境的多样性以及驾驶员自身的因素等等，驾驶员常常容易错失交通数据信息导致违规违章驾驶，严重者酿成交通事故。因此为了减少交通事故的发生，能够让驾驶员安全出行，对交通信号灯进行识别，具有非常好的实用价值和社会意义。交通信号灯检测作为智能驾驶领域的关键技术之一，交通信号灯检测经历数年发展，检测方法主要分为两大类:一类是基于传统方法的交通信号灯检测，另一类是基于深度学习方法的交通信号灯检测。这些方法均能在一定程度上解决交通信号灯的识别问题，但在复杂交通场景下，相似颜色和形状物体多，目标被部分遮挡，距离远目标尺寸小等，目标漏检情况严重，检测精度和实时性难以同时满足要求，且模型参数量和计算量较大，难以在嵌入式等边缘设备上部署。针对现有交通信号灯识别方法存在的诸多问题，需要创造一种新的基于信号灯识别的驾驶行为预警方法。

技术实现思路

[0003]本专利技术实施方式的目的是提供一种基于信号灯识别的驾驶行为预警方法及系统，以至少解决现有交通信号灯识别方法在复杂场景下检测精度低以及无法在嵌入式边缘设备上稳定运行的问题。
[0004]为了实现上述目的，本专利技术第一方面提供一种基于信号灯识别的驾驶行为预警方法，所述方法包括：采集车辆行进方向的实时图像；基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标；对存在交通信号灯目标的图像进行类别标注；基于类别标注结果触发对应的预设报警信息，并将所述报警信息实时推送到车载终端。
[0005]可选的，所述采集车辆行进方向的实时图像，包括：基于多个预设角度进行车辆行进方向的视频信息采集，获得多个角度的视频信息；基于预设时间间隔进行各视频的图像分帧处理，获得每个视频信息的多个图像；将每一时刻的各视频信息图像整合作为对应时刻的采集图像，获得车辆行进方向的实时图像。
[0006]可选的，所述基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标，包括：对每一时刻的多个图像分别进行是否存在交通信号灯目标判断，过滤掉不存在交通信号灯目标的图像，保留存在交通信号灯目标的初选图像；若同一时刻保留有多个存在交通信号灯目标的初选图像，则对比该时刻保留的多个初选图
像，筛选出交通信号灯目标的坐标最靠近图像中心点的初选图像作为存在交通信号灯目标的图像；若同一时刻仅保留有一个存在交通信号灯目标的初选图像，直接将该初选图像作为存在交通信号灯目标的图像。
[0007]可选的，所述方法还包括：构建交通信号灯识别模型，包括：采集多场景下的交通信号灯图像；其中，所述多场景至少包括：不同天气场景、不同时间场景、与交通信号灯之间的不同距离场景、不同遮挡程度场景；对所述多场景下的交通信号灯图像进行类别标注，将每一图像归类到对应类别体系中；其中，所述类别体系包括：红色信号灯、黄色信号灯、绿色信号灯、红色左转信号灯、绿色左转信号灯中的一种或多种；将所述多场景下的交通信号灯图像作为训练样本，在预构建的神经网络中进行训练，获得交通信号灯识别模型。
[0008]可选的，所述预构建的神经网络的特征提取网络为轻量级卷积网络；所述轻量级卷积网络包括：Mobilenet系列网络、Shufflenet系列网络、SNet网络、SqueezeNet系列网络和Xception系列网络中的任意一种；所述预构建的神经网络的特征融合网络为多尺度检测识别网络；所述多尺度检测识别网络包括：Pvanet网络、RFBNet网络和FPN网络中的任意一种。
[0009]可选的，所述将多场景下的交通信号灯图像作为训练样本，在预构建的神经网络中进行训练，获得交通信号灯识别模型，包括：在包含Mobilenet系列网络、Shufflenet系列网络、SNet网络、SqueezeNet系列网络和Xception系列网络中的任意一种轻量级卷积网络和Pvanet网络、RFBNet网络和FPN网络中的任意一种多尺度检测识别网络的预构建神经网络中进行模型训练，获得一个候选模型；对所述候选模型进行分析，判断其是否符合预期标准；若所述候选模型不符合预期标准，则更改所述预构建神经网络的轻量级卷积网络和/或多尺度检测识别网络，并重新进行模型训练，获得新的候选模型，并对所述新的候选模型进行分析；重复上述候选模型分析步骤和重新训练步骤，直到获得符合预期标准的交通信号灯识别模型。
[0010]可选的，所述对所述候选模型进行分析，判断其是否符合预期，包括：对比所述候选模型体量和预设模型体量，若所述候选模型体量大于所述预设模型体量，则判定候选模型的模型体量不符合预期标准；对比所述候选模型的训练速度和预设训练速度，若所述候选模型训练速度大于所述预设训练速度，则判定候选模型的训练速度不符合预期标准；选择多个与交通信号灯之间的不同距离场景的图像信息作为检测样本进行所述候选模型训练，对比识别结果与预先标注结果，当所述对比识别结果与预先标注结果完全对应的数量在所述检测样本数量中的占比小于预设占比阈值时，判定候选模型的准确度不符合预期标准；仅当模型体量、训练速度和准确度均符合预期标准时，才判定所述候选模型符合预期标准。
[0011]可选的，所述对存在交通信号灯目标的图像进行类别标注，包括：使用label标注方法进行所述类别标注；所述类别至少包括：红色信号灯、黄色信号灯、绿色信号灯、红色左转信号灯、绿色左转信号灯中的一种或多种。
[0012]本专利技术第二方面提供一种基于信号灯识别的驾驶行为预警系统，所述系统包括：采集单元，用于采集车辆行进方向的实时图像；处理单元，用于：基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标；对存在交通信号灯目标的图像进行类别标注；人机交互单元，用于基于类别标注结果触发对应的预设报警信
息，并将所述报警信息实时推送到车载终端。
[0013]另一方面，本专利技术提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的基于信号灯识别的驾驶行为预警方法。
[0014]通过上述技术方案，针对实际场景中交通信号灯背景复杂多变、摄像头在运动中或者发生抖动会导致图像模糊且交通信号灯数据集中各类信号灯样本数量严重不均衡的问题，构建数据集，深入研究多种数据增强方法，对所用交通信号灯数据进行增强与扩充，来增加对交通信号灯的分辨能力。通过多尺度检测思想，实现一个多尺度交通信号灯检测识别算法，使得网络提取到更加细粒度特征，从而提升网络对于像素尺寸较小交通信号灯的检测与识别精度，能够在较远距离实现对目标的检测，对驾驶员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信号灯识别的驾驶行为预警方法，其特征在于，所述方法包括：采集车辆行进方向的实时图像；基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标；对存在交通信号灯目标的图像进行类别标注；基于类别标注结果触发对应的预设报警信息，并将所述报警信息实时推送到车载终端。2.根据权利要求1所述的方法，其特征在于，所述采集车辆行进方向的实时图像，包括：基于多个预设角度进行车辆行进方向的视频信息采集，获得多个角度的视频信息；基于预设时间间隔进行各视频的图像分帧处理，获得每个视频信息的多个图像；将每一时刻的各视频信息图像整合作为对应时刻的采集图像，获得车辆行进方向的实时图像。3.根据权利要求2所述的方法，其特征在于，所述基于预设交通信号灯识别模型对所述实时图像进行处理，判断图像内是否存在交通信号灯目标，包括：对每一时刻的多个图像分别进行是否存在交通信号灯目标判断，过滤掉不存在交通信号灯目标的图像，保留存在交通信号灯目标的初选图像；若同一时刻保留有多个存在交通信号灯目标的初选图像，则对比该时刻保留的多个初选图像，筛选出交通信号灯目标的坐标最靠近图像中心点的初选图像作为存在交通信号灯目标的图像；若同一时刻仅保留有一个存在交通信号灯目标的初选图像，直接将该初选图像作为存在交通信号灯目标的图像。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：构建交通信号灯识别模型，包括：采集多场景下的交通信号灯图像；其中，所述多场景至少包括：不同天气场景、不同时间场景、与交通信号灯之间的不同距离场景、不同遮挡程度场景；对所述多场景下的交通信号灯图像进行类别标注，将每一图像归类到对应类别体系中；其中，所述类别体系包括：红色信号灯、黄色信号灯、绿色信号灯、红色左转信号灯、绿色左转信号灯中的一种或多种；将所述多场景下的交通信号灯图像作为训练样本，在预构建的神经网络中进行训练，获得交通信号灯识别模型。5.根据权利要求4所述的方法，其特征在于，所述预构建的神经网络的特征提取网络为轻量级卷积网络；所述轻量级卷积网络包括：Mobilenet系列网络、Shufflenet系列网络、SNet网络、SqueezeNet系列网络和Xception系列网络中的任意一种；所述预构建的神经网络的特征融合网络为多尺度检测识别网络；所述多尺度检测识别网络包括：Pvanet网络、RFBNet网络和FPN网络中的任意一种。6.根据权利要求5所述的方法，其特征在于，所述将多场景下的交通信号灯图像作为...

【专利技术属性】
技术研发人员：李栋，杨永波，房建东，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：