一种基于深度学习目标检测的交通信号灯故障检测方法技术

本发明专利技术公开一种基于深度学习目标检测的交通信号灯故障检测方法，以信号灯路口固定部署的电子警察采集的视频流数据为检测依据，通过构建基于深度学习的轻量级网络结构实现交通信号红绿灯、倒计时牌的多类型故障动态识别，以最长为两个信号周期长度的预设时段内即可识别出红绿灯与倒计时牌的故障类型，基本覆盖常见的故障问题，能够实现实时性强、准确度高的信号灯故障检测，无需增设前端的设备，动态同步路口电子警察视频流数据并进行取样处理，以降低模型运算量为目标，构建轻量级的网络结构，为及时的信号灯设备维修提供支撑，该方法还能够应用于路口电子警察违法抓拍数据的智能审核中，有助于快速识别违法误判数据。有助于快速识别违法误判数据。有助于快速识别违法误判数据。

A traffic signal fault detection method based on deep learning target detection

【技术实现步骤摘要】
一种基于深度学习目标检测的交通信号灯故障检测方法


[0001]本专利技术涉及计算机视觉研究、智能交通
，尤其是涉及一种基于深度学习目标检测的交通信号灯故障检测方法。

技术介绍

[0002]交通信号灯是城市道路交通管控的重要工具，信号灯的显示装置(包括灯头、倒计时牌)均为电子设备，全天候不间断的运行状态、露天安装的环境条件等，均会影响到信号灯的正常运行，在实际场景中信号灯显示异常故障较为普遍，如灯灭、灯长亮、灯频闪、多个色灯同时亮等，装配的倒计时牌的数值异常、数值不完整、显示频闪/跳动等。对于路口信号机的自动故障检测大多是针对于网络在线状态的检测，更精细的故障问题难以实现在线的诊断。为此，针对交通信号灯的智能故障检测方法和系统已取得了一定的研究成果；专利技术专利CN 103280117B提出的交通信号等故障智能巡回检测、网络报警系统，通过对电流检测方式实现信号灯亮灭状态的异常检测，从设备内部电路检测角度实现故障检测，但仅对灯的亮灭状态检测，对灯色异常无法检测；专利技术专利CN109636777A提出一种交通信号灯的故障检测方法、系统及存储介质，是通过对包含信号灯的视频流单帧图像进行灰度处理与二值化处理，对信号灯的熄灭故障、多个色灯同亮两类故障进行了自动识别，但仅对这两种故障类型进行识别远不能够满足实际需要；专利技术专利CN 111681442A提出一种基于图像分类算法的信号灯故障检测装置，通过卷积神经网络训练四分类模型：正常模型、离线模型、同亮模型、无法判定模型，通过滑动窗口中连续50％的异常状态判断信号灯计时器不亮、信号灯灭灯、多个色灯同亮故障，但对于不同灯色异常的穿插闪烁的异常情况还未充分公开能够有效识别的方法。
[0003]另外，倒计时牌搭配红绿灯作为信号灯显示装置在实际应用中也相当常见，但倒计时牌为单色显示装置，其显示内容较纯色的红绿灯而言也较为复杂，由LED灯管组合为数字，其显示特性为逐秒变化，现有针对红绿灯显示状态的识别方法并不适用于倒计时牌的故障识别。专利技术专利CN110826456A提出一种倒计时牌的故障识别方法，公开了采用空间正则化网络提取样本图像与显示信息标签关系的方法，进而对未亮灯、数字显示不连续、未显示规则数字三种显示异常问题进行识别，但是对倒计时牌故障类型的识别种类较少，比较局限。专利号CN112149509A通过yolov3
‑
tiny实现了一种深度学习与图像处理融合的交通信号灯故障检测方法，该模型复杂度高，对计算机的算力要求高，应用于信号灯故障检测时故障识别的反应速度较慢。
[0004]综上所述，现有技术中利进行信号灯、倒计时牌的特征识别或故障识别建模，模型结构都较为复杂，对数据处理的运算能力要求较高，因此在时效性上无法得到保证，且现有技术识别的信号灯、倒计时牌故障类型相对局限，不能覆盖常见的故障问题。

技术实现思路

[0005]为了解决上述问题，本专利技术提供了一种基于深度学习目标检测的交通信号灯故障
检测方法，以信号灯路口固定部署的电子警察采集的视频流数据为检测依据，通过构建基于深度学习的轻量级网络结构实现交通信号红绿灯、倒计时牌的多类型故障动态识别，以最长为两个信号周期长度的预设时段内即可识别出红绿灯与倒计时牌的故障类型，基本覆盖常见的故障问题，能够实现实时性强、准确度高的信号灯故障检测，无需增设前端的设备，动态同步路口电子警察视频流数据并进行取样处理，以降低模型运算量为目标，构建轻量级的网络结构，为及时的信号灯设备维修提供支撑，该方法还能够应用于路口电子警察违法抓拍数据的智能审核中，有助于快速识别违法误判数据。
[0006]为实现上述技术目的，达到上述技术效果，本专利技术是通过以下技术方案实现的：一种基于深度学习目标检测的交通信号灯故障检测方法，方法包括如下步骤：
[0007]步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；
[0008]步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h
×
w
×
3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；通常画面提取时间间隔T取值为1s，也可根据故障检测的需求延长，进行倒计时牌故障识别时T取值必须为1s；对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；
[0009]步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p
×
p
×
3阶矩阵SF
i
，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SF
i
为一致性处理后的信号灯第i个子矩阵；将所有子矩阵拼接得到输入张量Tc＝[SF1,SF2,L,SF
n
]；
[0010]步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；Tc输入模型后得到输出张量每一行的数值分别指代各信号灯子矩阵所指代的信号灯子图中灯红亮、黄灯亮、绿灯亮、有灯亮的概率；
[0011]步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；
[0012]步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测；
[0013]步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制(Attention)对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u
×
v阶矩阵BF
j
，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为步骤2图像中的倒计时牌
数量，BF
j
为对应第j个倒计时牌子图的子矩阵；将所有子矩阵拼接得到输入张量Tc
b
＝[BF1,BF2,L,BF
m
]，输入文本分类模型后输出倒计时牌显示数值识别结果；
[0014]步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型。
[0015]进一步地，步骤5中的信号灯状态判别模型包括：
[0016](1)灯色冲突：且
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于：所述方法包括如下步骤：步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h
×
w
×
3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；通常画面提取时间间隔T取值为1s，也可根据故障检测的需求延长，进行倒计时牌故障识别时T取值必须为1s；对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p
×
p
×
3阶矩阵SF
i
，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SF
i
为一致性处理后的信号灯第i个子矩阵；将所有子矩阵拼接得到输入张量Tc＝[SF1,SF2,L,SF
n
]；步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；Tc输入模型后得到输出张量每一行的数值分别指代各信号灯子矩阵所指代的信号灯子图中灯红亮、黄灯亮、绿灯亮、有灯亮的概率；步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测；步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制(Attention)对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u
×
v阶矩阵BF
j
，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为步骤2图像中的倒计时牌数量，BF
j
为对应第j个倒计时牌子图的子矩阵；将所有子矩阵拼接得到输入张量Tc
b
＝[BF1,BF2,L,BF
m
]，输入文本分类模型后输出倒计时牌显示数值识别结果；步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型。2.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤5中的信号灯状态判别模型包括：
(1)灯色冲突：且(2)灭灯状态：(3)灯色识别：在不存在灯色冲突与灭灯状态时，可进行亮灯的灯色判别，即亮灯概率最大值所对应的灯色判定为张量列序号i对应的信号灯子矩阵的亮灯灯色；式中，a、b均指代输出张量中的行序号，i指代输出张量中的列序号；p1、p2分别为亮灯概率阈值、不同灯色均亮灯的核查阈值；p3、p4分别为存在亮灯状态的最小阈值以及红黄绿各灯色未亮灯的判别阈值。3.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤6中的信号灯故障动态检测包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；步骤6具体步骤如下：步骤6
‑
1，灭灯故障识别：以T1为灭灯故障识别时间间隔，以C1为灭灯故障判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的灭灯状...

【专利技术属性】
技术研发人员：饶欢，陈凝，马党生，盛旺，周东，蔡新闻，
申请(专利权)人：江苏智通交通科技有限公司，
类型：发明
国别省市：