基于视觉测距的交通信号灯识别网络训练方法及测试方法技术

本发明专利技术提供了一种基于视觉测距的交通信号灯识别网络训练方法，包括以下步骤：步骤1、对采集的图像进行标注，制作交通信号灯数据集；步骤2、利用步骤1建立的数据集对信号灯识别网络模型进行训练；步骤3、利用损失函数采用梯度下降法对模型参数进行优化，用trainval子数据集对训练好的网络模型进行网络模型超参数调整，用test子数据集对最终的网络模型进行评价；当训练过程中loss趋于平缓且连续3个训练周期网络性能无提升时，选取最后的训练模型为最优模型，完成训练。本发明专利技术还提供了一种基于视觉测距的交通信号灯识别网络测试方法。本发明专利技术解决了现有技术中存在的信号灯识别准确率低，计算量大，实时性差等问题。实时性差等问题。实时性差等问题。

【技术实现步骤摘要】
基于视觉测距的交通信号灯识别网络训练方法及测试方法


[0001]本专利技术属于智能交通
，涉及一种基于视觉测距的交通信号灯识别网络训练方法及测试方法。

技术介绍

[0002]随着无人驾驶技术的快速发展，无人驾驶汽车迫切需要提升对交通信号灯的识别能力。现有交通信号灯识别方法以图像检测技术为主，由于交通信号灯目标小、检测准确率低，识别过程中对图像信息进行了无差别遍历，导致算法计算量大、实时性差。目前的技术方案主要围绕Faster
‑
RCNN、YOLO系列、SSD网络等深度学习算法进行研究。但是传统的网络算法对整个图像进行了无差别搜索，增加了算法的计算量，无法达到无人驾驶系统所需的实时性要求。
[0003]“基于深度学习的信号灯识别方法和装置、设备及储存介质”(专利申请号：202010930268.0)通过改进YOLOv3网络结构，引入DIOU损失模块，一定程度上改进了算法检测信号灯的准确性，但未能利用信号灯的先验信息，计算量较大。
[0004]“一种基于图像处理和深度学习的交通信号灯识别方法”(专利申请号：202010255239.9)通过结合传统的图像处理方法和深度卷积网络进行交通信号灯识别，该方法融合了传统图像检测方法和深度学习方法，通过分类的方法完成信号灯状态识别，并应用了并行化处理技术，可以有效的缩短检测时间。但该方法仅仅以图像信息为算法输入，在复杂的交通路口极易产生误检。
[0005]“实时的交通灯识别方法”(专利申请号：201910354808.2，授权公告号：CN 109949594B)提出了基于标注地图的信号灯识别方法，该方法中将信号灯、车道进行联合编码，通过获取信号灯id得到交通灯的状态。该方法需要建立复杂的标注地图，而且对于未进行标注的地图区域，该方法并不适用，因此，该方法有很大的局限性。

技术实现思路

[0006]为实现上述目的，本专利技术提供了一种基于视觉测距的交通信号灯识别网络训练方法及测试方法，解决了现有技术中存在的信号灯识别准确率低，计算量大，实时性差等问题。
[0007]为解决上述技术问题，本专利技术所采用的技术方案是，一种基于视觉测距的交通信号灯识别网络训练方法，包括以下步骤：
[0008]步骤1、对采集的图像进行标注，制作交通信号灯数据集：所述信号灯数据集由信号灯图像、归一化后的ROI区域信息、真实标签信息作为一个基本数据单元；并将数据集按8:1:1比例分为train、trainval、test三个子数据集，其中train、trainval数据集用于训练及训练过程的性能验证；test用于对网络性能进行最终评价；
[0009]步骤2、利用步骤1建立的数据集对信号灯识别网络模型进行训练：
[0010]步骤21、首先，建立信号灯识别网络模型，信号灯识别网络模型包含主干网络、特
征融合网络和特征解码器三部分；
[0011]步骤22、将训练集中相机采集到的信号灯图像送入所述信号灯识别网络模型的主干网络中，提取图像特征，获得特征图；然后将提取到的特征图送入所述特征融合网络，获取检测头特征图TC1、TC2、TC3；
[0012]步骤23、将步骤1归一化后的ROI区域信息，映射到步骤22得到的检测头特征图中，生成ROI特征图：设检测头特征图高宽尺寸分别为h
ti
、w
ti
，则ROI区域在对应检测头特征图的位置信息为截取ROI区域在检测头特征图映射区域的特征图作为ROI特征图；
[0013]其中，P
w
、P
h
分别为图像宽度和高度，X
c
为ROI区域中心点的x轴坐标，X
c
是以图像中心点横坐标X
中心
为采样中心，利用高斯概率密度函数在[0,P
w
]范围内采样获得；Y
c
为ROI区域中心点的y轴坐标，Y
c
的取值在Y
cmax
到Y
cmin
范围内随机采样获得；ROI区域中心点的y轴坐标值的上下取值边界，分别记为Y
cmax
，Y
cmin
，其中Y
cmax
＝H
板1
+αh1，Y
cmin
＝H
板1
‑
αh1，其中α是自适应系数，H
板
为信号灯板中心点的高度，f为相机焦距，H
板1
为H
板
在图像坐标系的投影，h1为信号灯板的垂向长度h在图像坐标系的投影；S
c
为车辆与交通信号灯之间的水平距离，R为预设阈值，e为自然常数；
[0014]步骤24、将获得的ROI特征图与步骤1中获得的真实标签进行对比，筛选出与真实标签最匹配的ROI特征图作为初始预测框特征图；
[0015]步骤25、特征解码器对筛选出的初始预测框特征图进行分类和精调整，获得最终的信号灯预测框信息；
[0016]步骤26、通过Loss函数计算信号灯预测框和真实标签之间的损失函数，确定网络参数进化方向，优化信号灯识别网络模型；
[0017]步骤3、利用损失函数采用梯度下降法对模型参数进行优化，用trainval子数据集对训练好的网络模型进行网络模型超参数调整，用test子数据集对最终的网络模型进行评价；当训练过程中loss趋于平缓且连续3个训练周期网络性能无提升时，选取最后的训练模型为最优模型，完成训练过程。
[0018]进一步地，所述步骤1中ROI区域信息通过ROI提取系统提取获得，所述ROI提取系统包括GPS模块、电子地图模块、测距模块和ROI提取模块；其中，
[0019]GPS模块获取车辆实时位置信息(X
1c
，Y
1c
)，并记录时间戳为Tc；在Tc时刻，电子地图模块根据车辆实时位置信息，提取车辆运动方向上的信号灯位置坐标(X
L
，Y
L
)；测距模块利用如下公式计算Tc时刻车辆与交通信号灯之间的水平距离Sc；
[0020][0021]测距模块判断车辆和交通信号灯之间的距离Sc是否超过预设阈值R：若Sc大于R，ROI提取系统不启动，测距模块进入下一时刻循环，继续检测Sc和R的关系，当Sc小于等于R，说明车辆已经进入交通信号灯识别区域，则启动ROI提取系统；
[0022]ROI提取模块用于确定信号灯的ROI区域信息，并对ROI区域特征向量进行归一化，
归一化后的ROI区域特征向量表示为:其中，P
w
、P
h
分别为图像宽度和高度。
[0023]进一步地，所述步骤2中主干网络包括依次交替的3个CRC模块和3个CRT模块，每个CRC模块包括CONV模块、Residual模块和CBAM模块，每个CRT模块包括CONV模块、Residual模块和Transform模块；
[0024]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉测距的交通信号灯识别网络训练方法，其特征在于，包括以下步骤：步骤1、对采集的图像进行标注，制作交通信号灯数据集：所述信号灯数据集由信号灯图像、归一化后的ROI区域信息、真实标签信息作为一个基本数据单元；并将数据集按8:1:1比例分为train、trainval、test三个子数据集，其中train、trainval数据集用于训练及训练过程的性能验证；test用于对网络性能进行最终评价；步骤2、利用步骤1建立的数据集对信号灯识别网络模型进行训练：步骤21、首先，建立信号灯识别网络模型，信号灯识别网络模型包含主干网络、特征融合网络和特征解码器三部分；步骤22、将训练集中相机采集到的信号灯图像送入所述信号灯识别网络模型的主干网络中，提取图像特征，获得特征图；然后将提取到的特征图送入所述特征融合网络，获取检测头特征图TC1、TC2、TC3；步骤23、将步骤1归一化后的ROI区域信息，映射到步骤22得到的检测头特征图中，生成ROI特征图：设检测头特征图高宽尺寸分别为h
ti
、w
ti
，则ROI区域在对应检测头特征图的位置信息为截取ROI区域在检测头特征图映射区域的特征图作为ROI特征图；其中，P
w
、P
h
分别为图像宽度和高度，X
c
为ROI区域中心点的x轴坐标，X
c
是以图像中心点横坐标X
中心
为采样中心，利用高斯概率密度函数在[0,P
w
]范围内采样获得；Y
c
为ROI区域中心点的y轴坐标，Y
c
的取值在Y
cmax
到Y
cmin
范围内随机采样获得；ROI区域中心点的y轴坐标值的上下取值边界，分别记为Y
cmax
，Y
cmin
，其中Y
cmax
＝H
板1
+αh1，Y
cmin
＝H
板1
‑
αh1，其中α是自适应系数，H
板
为信号灯板中心点的高度，f为相机焦距，H
板1
为H
板
在图像坐标系的投影，h1为信号灯板的垂向长度h在图像坐标系的投影；S
c
为车辆与交通信号灯之间的水平距离，R为预设阈值，e为自然常数；步骤24、将获得的ROI特征图与步骤1中获得的真实标签进行对比，筛选出与真实标签最匹配的ROI特征图作为初始预测框特征图；步骤25、特征解码器对筛选出的初始预测框特征图进行分类和精调整，获得最终的信号灯预测框信息；步骤26、通过Loss函数计算信号灯预测框和真实标签之间的损失函数，确定网络参数进化方向，优化信号灯识别网络模型；步骤3、利用损失函数采用梯度下降法对模型参数进行优化，用trainval子数据集对训练好的网络模型进行网络模型超参数调整，用test子数据集对最终的网络模型进行评价；当训练过程中loss趋于平缓且连续3个训练周期网络性能无提升时，选取最后的训练模型为最优模型，完成训练过程。2.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法，其特征在于，所述步骤1中ROI区域信息通过ROI提取系统提取获得，所述ROI提取系统包括GPS模块、电子地图模块、测距模块和ROI提取模块；其中，
GPS模块获取车辆实时位置信息(X
1c
，Y
1c
)，并记录时间戳为Tc；在Tc时刻，电子地图模块根据车辆实时位置信息，提取车辆运动方向上的信号灯位置坐标(X
L
，Y
L
)；测距模块利用如下公式计算Tc时刻车辆与交通信号灯之间的水平距离Sc；测距模块判断车辆和交通信号灯之间的距离Sc是否超过预设阈值R：若Sc大于R，ROI提取系统不启动，测距模块进入下一时刻循环，继续检测Sc和R的关系，当Sc小于等于R，说明车辆已经进入交通信号灯识别区域，则启动ROI提取系统；ROI提取模块用于确定信号灯的ROI区域信息，并对ROI区域特征向量进行归一化，归一化后的ROI区域特征向量表示为:其中，P
w
、P
h
分别为图像宽度和高度。3.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法，其特征在于，所述步骤2中主干网络包括依次交替的3个CRC模块和3个CRT模块，每个CRC模块包括CONV模块、Residual模块和CBAM模块，每个CRT模块包括CONV模块、Residual模块和Transform模块；其中，CONV模块为卷积下采样模块，对输入的特征图进行二倍率下采样；Residual模块为残差网络结构，通过内部残差块的跳跃连接，降低因网络加深带来的梯度消失问题；Transform模块为注意力网络模型；CBAM模块包括通道注意力和空间注意力两个部分，CBAM模块沿着空间和通道两个维度依次推断注意力权重，能够提取图像信息中的目标信息。4.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法，其特征在于，所述步骤2中特征融合网络获取检测头特征图的方法为：首先选择主干网络的第三个CRT模块的输出，记为T3；将T3送入CONV模块进行1
×
1卷积，然后将输出送入upsample模块，每个upsample模块都会对特征图进行一次上采样，进行两次上采样后，与主干网络的第二个CRT模块输出的特征图采用Concat方法进行特征图拼接，并将输出通过CBAM模块进行进一步的特征提取，记最终输出为T2；其中，Concat是深度学习网络中常用的特征图拼接方法；将T2送入CONV模块，采用1
×
1卷积核调整通道数，然后送入upsample模块进行两次上采样，将上采样后的结果与主干网络的第一个CRT模块输出采用Concat方法进行特征拼接，并将输出通过CBAM模块进行进一步的特征提取，记最终的输出结果为T1；选择主干网络的第一个CRC模块，记为C1，将C1送入CONV模块，采用3
×
3的卷积核进行两次卷积下采样，然后将下采样输出与主干网络的第二个CRC模块输出采用Concat方法进行拼接，然后采用Transform模块提取有效特征，输出特征图记为C2；将C2送入CONV模块，进行2次下采样，将下采样结果和主干网络的第三个CRC模块输出采用Concat方法进行拼接，然后采用Transform模块进行特征提取，输出特征图记为C3；获得T1、T2、T3、C1、C2、C3后，将T1输入upsample模块，上采样后与C1采用Concat方法进行拼接，输出特征图，作为检测头，记为TC1；将T2输入upsample模块，上采样后与C2采用Concat方法进行拼接，输出特征图，作为检测头，记为TC2；将T3输入upsample模块，上采样后与C3采用Concat方法进行拼接，输出特征图，作为检测头，记为TC3。5.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法，其特征在于，所述步骤24具体为：
步骤241、将ROI特征图采用softmax处理，将ROI特征图分为前景图像和后景图像，筛选出属于前景图像的ROI特征图；步骤242、将每个筛选出的前景图像ROI特征图逐一与对应图像的真实标签进行组合，计算CIOU值；步骤243、每个前景图像ROI特征图保留一个与之匹配的最佳真实标签，以数组形式储存，记为R
Best
，其中R
Best
的每一项包括如下内容{I
roi
，I
gt
，V
ciou
}，其中I
roi
表示ROI特征图相关信息，I
gt
表示与ROI特征图匹配的最佳真实标签，V
ciou
表示前景图像R...

【专利技术属性】
技术研发人员：张素民，白日，何睿，武巍，
申请(专利权)人：吉林大学，
类型：发明
国别省市：