基于深度学习的交通灯识别方法技术

本发明专利技术涉及一种基于深度学习的交通灯识别方法，包括标注交通灯图片集并训练得到交通灯模型；增加yolov5模型的小目标识别能力；使yolov5模型实时读取相机的图像；对相机采集的图片进行滤波去噪处理；将训练好的交通灯模型中的数据集和交通灯权重文件加入改进后的yolov5模型，通过该模型从相机采集的图像中识别出交通灯的真实边界框，并输出识别结果。本发明专利技术中，采用了基于yolov5的交通灯识别方法，并通过对yolov5的改进，解决了传统识别方法识别图像速度慢，准确低的问题；并增强了对小目标的识别能力，目标识别精度高，实时性强，非常适合应用于无人驾驶技术。适合应用于无人驾驶技术。适合应用于无人驾驶技术。

【技术实现步骤摘要】
基于深度学习的交通灯识别方法


[0001]本专利技术属于无人驾驶
，涉及一种基于深度学习的交通灯识别方法。

技术介绍

[0002]交通灯信号灯的识别是无人驾驶重要环节，目前基于yolov3的算法在检测交通信号灯时存在检测不准确，置信度低的问题，对交通灯的识别产生极大错误后，一旦给出交通灯错误边界框，就会导致车辆做出错误判断。近几年随着无人驾驶研究的兴起，对于车辆准确识别物体的技术成为重点，特别是对于交通灯的识别显得至关重要；准确识别交通灯对于自动驾驶及路径规划有着重要意义。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于深度学习的交通灯识别方法。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]一种基于深度学习的交通灯识别方法，包括以下步骤：
[0006]步骤S1、获取并标注交通灯图片集，通过训练得到能够识别交通灯形状和颜色的交通灯模型；
[0007]步骤S2、对yolov5模型进行改进，增加yolov5模型的小目标识别能力；
[0008]步骤S3、将训练好的交通灯模型中的数据集和权重文件加入改进后的yolov5模型，得到交通灯自动识别模型，对交通灯自动识别模型进行训练，使交通灯自动识别模型先识别出交通灯边界框，再从交通灯边界框中识别出交通灯对应的ID号；
[0009]步骤S4、使yolov5模型实时读取相机的图像；
[0010]步骤S5、通过训练好的交通灯自动识别模型从相机采集的图像中识别出交通灯的真实边界框，并输出识别结果。
[0011]进一步的，在所述步骤S1中，将交通灯根据形状和颜色的分别划分ID号，在标注交通灯图片集时，先在交通灯图片上交通灯的位置处标注出边界框，再标注各边界框中交通灯的形状和颜色对应的ID号。
[0012]进一步的，在所述步骤S2中，对yolov5模型进行改进包括：
[0013]在其原始特征提取层之后增加多尺度特征提取层和特征融合层，在其目标检测层之前增加小目标检测层，将原始特征提取层输出的特征信息分别送给多尺度特征提取层和特征融合层，所述多尺度特征提取层用于对原始特征提取层输出的特征信息进行过滤，提取出明显的特征信息；所述特征融合层用于将原始特征提取层输出的特征信息和多尺度特征提取层输出的特征信息进行融合；所述小目标检测层用于通过上采样加强小目标的细粒度特征。
[0014]进一步的，在所述步骤S2中，对yolov5模型进行改进还包括：
[0015]在yolov5模型的PANet架构中，将BottleNeckCSP模块替换为Ghostbottleneck模块，并将Ghostbottleneck模块的子模块的顺序从前至后依次设置为GhostModule 1模块、
depthwise模块、SEModule模块、GhostModule2模块、Identity mapping模块。
[0016]进一步的，去除GhostModule2模块的ReLU函数。
[0017]进一步的，在所述步骤S4中，读取相机采集的图片后还进行滤波去噪处理，滤波去噪处理的方法为：
[0018]首先通过灰度图像转换，把彩色图像转化为灰度图，然后进行二值化处理，最后进行高斯滤波去噪处理；滤波函数选择FIR windowed filter PtByPt VI。
[0019]进一步的，在所述步骤S3中，模型训练的公式为：
[0020]t
x
＝(G
x
‑
P
x
)
[0021]t
y
＝(G
y
‑
P
y
)
[0022]t
w
＝log(G
w
/P
w
)
[0023]t
h
＝log(G
h
/P
h
)
[0024]式中，G
x
表示标注的边界框的中心点的横坐标；G
y
表示标注的边界框的数据中心点的纵坐标；G
w
表示标注的边界框的宽；G
h
表示标注的边界框的高；P
x
表示预测边界框的中心点的横坐标；P
y
表示预测边界框的中心点的纵坐标；P
w
表示预测边界框的宽；P
h
表示预测边界框的高；t
x
表示模型训练输出的横向偏移量；t
y
表示模型训练输出的纵向偏移量；tw表示模型训练输出的横向缩放尺度；th表示模型训练输出的纵向缩放尺度。
[0025]进一步的，在所述步骤S5中，输出的识别结果包括图片中识别出的边界框的数量、各边界框四个角点的位置信息、各边界框中交通灯信息对应的ID号、以及各边界框的置信度。
[0026]进一步的，在所述步骤S5中，从相机采集的图像中识别出交通灯的方法为：
[0027]先将交通灯图像划分为SxS的网格，然后依次对每个网格进行识别，预测出边界框；再计算边界框的置信度，并根据预测边界框的置信度和非极大抑制筛选出各交通灯置信度最高的预测边界框；最后识别出交通灯的真实边界框，并输出识别结果。
[0028]真实边界框的计算公式如下：
[0029]b
x
＝σ(t
x
)+c
x
[0030]b
y
＝σ(t
y
)+c
y
[0031][0032][0033]式中，b
x
表示真实边界框的中心点的横坐标；b
y
表示真实边界框的中心点的纵坐标；σ()表示sigmoid函数；c
x
表示一个为网格宽度的倍数；b
w
表示真实边界框的宽度；b
h
表示真实边界框的宽度。
[0034]进一步的，预测边界框的置信度的计算公式为：
[0035][0036]其中，D
conf
为预测边界框的置信度；P(o)为被检测目标的概率，如果目标的中心落在网格内，则P(o)为1，否则为0；为预测边界框与真实边界框的交并比。
[0037]本专利技术中，采用了基于yolov5的交通灯识别方法，并通过对yolov5的改进，解决了传统识别方法识别图像速度慢，准确低的问题；并增强了对小目标的识别能力，目标识别精
度高，实时性强，操作简单，该交通灯识别方法非常适合应用于无人驾驶技术。
附图说明
[0038]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0039]图1为本专利技术基于深度学习的交通灯识别方法的一个优选实施例的流程图。
[0040]图2为yolov5模型增加多尺度特征提取层和特征融合层后的结构框图。
[0041]图3为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的交通灯识别方法，其特征在于，包括以下步骤：步骤S1、获取并标注交通灯图片集，通过训练得到能够识别交通灯形状和颜色的交通灯模型；步骤S2、对yolov5模型进行改进，增加yolov5模型的小目标识别能力；步骤S3、将训练好的交通灯模型中的数据集和权重文件加入改进后的yolov5模型，得到交通灯自动识别模型，对交通灯自动识别模型进行训练，使交通灯自动识别模型先识别出交通灯边界框，再从交通灯边界框中识别出交通灯对应的ID号；步骤S4、使yolov5模型实时读取相机的图像；步骤S5、通过训练好的交通灯自动识别模型从相机采集的图像中识别出交通灯的真实边界框，并输出识别结果。2.如权利要求1所述的基于深度学习的交通灯识别方法，其特征在于，在所述步骤S1中，将交通灯根据形状和颜色的分别划分ID号，在标注交通灯图片集时，先在交通灯图片上交通灯的位置处标注出边界框，再标注各边界框中交通灯的形状和颜色对应的ID号。3.如权利要求1所述的基于深度学习的交通灯识别方法，其特征在于，在所述步骤S2中，对yolov5模型进行改进包括：在其原始特征提取层之后增加多尺度特征提取层和特征融合层，在其目标检测层之前增加小目标检测层，将原始特征提取层输出的特征信息分别送给多尺度特征提取层和特征融合层，所述多尺度特征提取层用于对原始特征提取层输出的特征信息进行过滤，提取出明显的特征信息；所述特征融合层用于将原始特征提取层输出的特征信息和多尺度特征提取层输出的特征信息进行融合；所述小目标检测层用于通过上采样加强小目标的细粒度特征。4.如权利要求1所述的基于深度学习的交通灯识别方法，其特征在于，在所述步骤S2中，对yolov5模型进行改进还包括：在yolov5模型的PANet架构中，将BottleNeckCSP模块替换为Ghostbottleneck模块，并将Ghostbottleneck模块的子模块的顺序从前至后依次设置为GhostModule 1模块、depthwise模块、SEModule模块、GhostModule2模块、Identity mapping模块。5.如权利要求4所述的基于深度学习的交通灯识别方法，其特征在于，去除GhostModule2模块的ReLU函数。6.如权利要求1所述的基于深度学习的交通灯识别方法，其特征在于，在所述步骤S4中，读取相机采集的图片后还进行滤波去噪处理，滤波去噪处理的方法为：首先通过灰度图像转换，把彩色图像转化为灰度图，然后进行二值化处理，最后进行高斯滤波去噪处理；滤波函数选择FIR windowed filter PtByPt VI。7.如权利要求1所述的基于深度学习的交通灯识别方法，其特征在于，在所述步骤S3中，模型训练的公式为：t
x
＝(G
x
‑
P
x
)t
...

【专利技术属性】
技术研发人员：李晓威，金庭安，程鹏，周春荣，
申请(专利权)人：道简优行重庆科技有限公司重庆金皇后新能源汽车制造有限公司，
类型：发明
国别省市：