深度学习与图像处理融合的交通信号灯故障检测方法技术

本发明专利技术公开了一种深度学习与图像处理融合的交通信号灯故障检测方法，包括步骤S1：获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到包含交通信号灯图像，交通信号灯灯组在图像中的位置信息、交通信号灯组内各信号灯的类型信息和位置信息；步骤S2：配置交通信号灯组信息和灯组内的各个信号灯信息；步骤S3：建立交通信号灯的检测模型；本发明专利技术有效解决了小范围摄像机抖动和位置偏移问题，提高了报警的准确率；采用基于卷积神经网络的深度学习技术，实现信号灯的位置和状态识别，采用基于信号灯周期的图像处理算法，进一步提升信号灯的识别准确率。

【技术实现步骤摘要】
深度学习与图像处理融合的交通信号灯故障检测方法
本专利技术涉及交通信号灯状态监测
，尤其涉及一种深度学习与图像处理融合的交通信号灯故障检测方法。
技术介绍
交通信号灯是交通安全产品中的一个类别，可用于加强道路的交通管理，提高道路使用效率。交通信号灯的正常运行是城市正常运转的基础，但目前现存的大量交通信号灯是没有故障自诊断能力的非智能交通信号灯，该类交通信号灯的故障检测主要通过执勤交警的报修，交通设施单位巡检以及市民报警等方式。上述信号灯故障检测方式，存在维护人员工作量大，故障发现不及时，效率较低等问题。针对城市道路交通信号灯故障检测和维修的实际需要，目前主流的信号灯故障自动检测方法主要是基于视频识别的检测方法。基于视频识别的检测方法主要是采用深度学习的方法，首先获取大量信号灯图片，训练得到信号灯检测模型，其次通过灯检测模型对视频中的信号灯区域内信号灯进行检测，最终确定信号灯位置和状态。该方法目前主要的有路口级的检测方案和中心级的检测方案。此检测方法在实际使用中存在的问题包括：信号灯样本数量有限，检测模型的泛化能力较弱，在检本文档来自技高网...

【技术保护点】
1.深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，包括以下步骤：/n步骤S1：获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到包含交通信号灯图像，交通信号灯灯组在图像中的位置信息、交通信号灯组内各信号灯的类型信息和位置信息；/n步骤S2：配置交通信号灯组信息和灯组内的各个信号灯信息；/n步骤S3：建立交通信号灯的检测模型；/n步骤S4：对交通信号灯进行图像处理识别；/n步骤S5：按信号灯周期统计一个交通信号灯组的状态；/n步骤S6：利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，若检测模型未能检测到信号灯，则会对此灯组区域采用图像处理的方法，检测出图中信号灯的...

【技术特征摘要】
1.深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，包括以下步骤：
步骤S1：获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到包含交通信号灯图像，交通信号灯灯组在图像中的位置信息、交通信号灯组内各信号灯的类型信息和位置信息；
步骤S2：配置交通信号灯组信息和灯组内的各个信号灯信息；
步骤S3：建立交通信号灯的检测模型；
步骤S4：对交通信号灯进行图像处理识别；
步骤S5：按信号灯周期统计一个交通信号灯组的状态；
步骤S6：利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，若检测模型未能检测到信号灯，则会对此灯组区域采用图像处理的方法，检测出图中信号灯的位置和状态；将检测到的各个信号灯的位置信息和类别信息与每个信号灯组中配置的信号灯信息进行匹配；对未匹配成功的信号灯，做出交通信号灯的故障判断。


2.根据权利要求1所述的深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21：配置信号灯组信息；设置信号灯组的检测区域和灯组区域，如果检测到的信号灯位置在设定的灯组区域内，则将所述信号灯的类型和位置信息统计在所述设定的灯组区域内；
步骤S22：配置信号灯信息；设置信号灯外接矩形框，每个信号灯的外接矩形框包含信号灯的位置信息和类型信息。


3.根据权利要求1或2所述的深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31：选择YOLOV3-tiny深度卷积网络作为交通信号灯目标检测网络；
步骤S32：制作交通信号灯的训练样本，将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的分类回归训练，生成信号灯检测模型；
步骤S33：识别单个交通信号灯的类型并对单个交通信号灯进行定位。


4.根据权利要求1或2所述的深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41：利用信号灯的周期性，统计一个周期内，信号灯区域内的最大像素图像max_img和最小像素图像min_img；
步骤S42：利用当前周期内信号灯区域图像img,与上个周期内的最小像素图像min_img做减法运算，得到差值图像diff_img；
步骤S43：设置合适的阈值thresh，对差值图像根据阈值进行图像二值化操作，得到信号灯的位置信息；
步骤S44：根据信号灯的位置信息与配置的信号灯的位置信息进行匹配，得到信号灯的类别信息。


5.根据权利要求1所述的深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，所述步骤S6包括以下步骤：
步骤S61：若交通信号灯组配置信息中的类别信息存在绿灯，则进入如下匹配和故障判断过程：
步骤a：以一个信号灯周期为一个完整的统计时间，统计绿灯的位置信息；
步骤b：当统计信息中，不存在绿灯位置信息，则绿灯异常报警进入报警队列；
步骤c：当统计信息中，存在绿灯的位置信息，利用信号灯配置信息,获得绿灯的外接矩形的位置信息(xg,yg,w,h)及红灯的外接矩形的位置信息(xr,yr,w,h)，计算出配置信息中红灯的外接矩形框与绿灯的外接矩形框之间的距离dx1,dx2或dy1,dy2；
对于水平灯组，dx1＝|xg-xr|,dx2＝|yg-yr|；
对于竖直灯组，dy1＝|yg-yr|,dy2＝|xg-xr|；
当统计信息中，存在绿灯的位置信息(x’g,y’g,w,h)，利用dx1,dx2或dy1,dy2计算出红灯位置(x’r,y’r,w,h)；
对于水平灯组，x’r＝x’g-dx1，y’r＝y’g-dx2；
对于竖直灯组，y’r＝y’g-dy1，x’r＝x’g-dy2；
若统计信息中的红灯位置信息(x1,y1,w,h)与计算得到的红灯位置(x’r,y’r,w,h)不匹配，使红灯异常报警进入报警队列；
匹配条件如下：
若(x’r-w/2)<x1<(x’r+w/2)，|y’r-y1|<h/2则认为水平匹配；
若(y’r-h1/2)<y1<(y’r+h1/2)，|x’r-x1|<w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
步骤d：当统计信息中，存在绿灯的位置信息，利用信号灯配置信息,可以获得绿灯的外接矩形的位置信息(xg,yg,w,h)及黄灯的外接矩形的位置信息(xy,yy,w,h)，计算出配置信息中红灯的外接矩形框与黄灯的外接矩形框之间的距离dx3,dx4或dy3,dy4；
对于水平灯组，dx3＝|xg-xy|,dy4＝|yg-yy|；
对于竖直灯组，dy3＝|yg-yy|,dy4＝|xg-xy|；
当获得统计信息中的绿灯位置(x’g,y’g,w,h)之后，利用dx3,dx4或dy3,dy4计算出黄灯位置(x’y,y’y,w,h)；
对于水平灯组，x’y＝x’g-dx3，y’y＝y’g-dx4；
对于竖直灯组，y’y＝y’g-dy3，x’y＝x’g-dy4；
若统计信息中的黄灯位置信息(x2,y2,w,h)与计算得到的黄灯位置(x’y,y’y,w,h)不匹配，使黄灯异常报警进入报警队列；
匹配条件如下：
若(x’y-w/2)<x2<(x’y+w/2)，|y’y-y2|<h/2则认为水平匹配；
若(y’y-h/2)<y2<(y’y+h/2)，|x’y-x2|<w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
步骤e：当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，获得绿灯的外接矩形的位置信息(xg,yg,w,h)及倒计时灯的外接矩形的位置信息(xc,yc,w,h)，计算出配置信息中倒计时灯的外接矩形框与绿灯的外接矩形框之间的距离dx5,dx6或dy5,dy6；
对于水平灯组，dx5＝|xg-xc|,dx6＝|yg-yc|；
对于竖直灯组，dy5＝|yg-yc|,dy6＝|xg-xc|；
当获得统计信息中绿灯位置(x’g,y’...

【专利技术属性】
技术研发人员：徐震辉，祁照阁，蒋栋奇，曹锋，袁旖，马建国，徐茂军，
申请(专利权)人：浙江浙大中控信息技术有限公司，
类型：发明
国别省市：浙江;33