一种车辆行驶中交通标志检测与识别方法及系统技术方案

本发明专利技术公开了一种车辆行驶中交通标志检测与识别方法及系统，其中检测与识别方法包括：1、构建第一图像数据集、第二图像数据集和第三样本集；建立交通标志检测模型，用第一图像数据集进行训练与测试；建立基于标准VGG 19的交通标志特征提取与识别网络，用第二图像数据集和第三样本集进行分部训练与测试；2、逐帧检测车辆行驶中采集的视频图像中的交通标志，当检测到时，记该帧为k帧；3、获取k+1帧和k+2帧，分别计算其中交通标志矩形外包围盒内的图像和和外包围盒位置信息；4、提取k帧、k+1帧、k+2帧中交通标志矩形外包围盒内图像的特征；5、进行特征融合，得到融合特征；6、将融合特征输入交通标志识别子网进行识别。该方法能够获得较精确的检测识别效果。

【技术实现步骤摘要】
一种车辆行驶中交通标志检测与识别方法及系统
本专利技术属于图像处理
及计算机视觉领域，具体涉及一种用于车辆行驶中检测与识别交通标志的方法和系统。
技术介绍
道路交通标志的检测和识别是汽车辅助驾驶系统中的一项重要内容，实现交通标志的高效准确识别，可以为安全驾驶系统提供保证，同时也为未来全面实现无人驾驶汽车系统提供了必要条件。目前国内外提出的关于交通标志检测和识别的方法其大致可以分为传统方法和基于深度学习方法两类。传统的道路交通标志识别算法主要抓住图像中交通标志所具有的独特的形状和颜色特性来进行检测与识别，这种方法一方面由于对光照等因素十分敏感，在对交通标志候选区域分割时，颜色阈值难以确定，另一方面，由于色彩丰富的背景环境，在确定交通标志候选区域时会造成较大干扰，因而妨碍正确识别；基于形状特征的交通标志识别与检测方法，其基本思想是检测图像中的边缘形状，确定图像中是否包含交通标志常见的形状，如圆形，三角形等。但是在实际情况中，图像中的交通标志由于图像采集设备拍摄角度不同而产生较大的形状畸变，另外，背景环境中也存在着许多圆形，三角形等形状的物体，会造成大量错误检测。还有的研究者将基于颜色特性与形状特征的识别与检测方法相结合，使交通标志检测和识别的精度有所提高，但这些方法都是针对指定的形状与特征，缺乏普适性。近几年，基于深度学习的方法在图像处理领域展现出强大优势，许多研究者也将深度学习方法中的卷积神经网络的结构应用在交通标志检测和识别的任务中。目前很多以深度学习为核心的检测与识别算法，在满足特定条件的应用场景下，已经超越了传统算法的识别或分类性能，但是，现有的这些检测和识别交通标志的方法都是针对单张图像进行的，当某张图像中的交通标志存在的运动模糊、视频失焦、部分遮挡以及奇异姿势，就比较难以检测和识别出图像中的交通标志。
技术实现思路
专利技术目的：针对现有技术中存在的问题，本专利技术公开了一种车辆行驶中交通标志检测与识别方法，该方法能够解决在车辆行驶中因运动模糊、视频失焦、部分遮挡以及奇异姿势导致交通标志检测与识别准确度下降的问题，获得较精确的检测识别效果。技术方案：本专利技术一方面公开了一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，所述训练阶段包括：(1)车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据，选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；建立交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试；对第一图像数据集中的图像沿矩形外包围盒进行裁剪，采用双线性内插法将剪裁后的图像尺寸调整，构成第二图像数据集；将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；建立基于标准VGG19的交通标志特征提取与识别网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试；所述识别阶段包括：(2)对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像Ik(x，y)、外包围盒的中心坐标高宽(3)获取视频数据中的k+1帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和外包围盒的位置信息，计算k+1帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+1(x，y)；(4)获取视频数据中的k+2帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和k+1帧外包围盒的位置信息，计算k+2帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+2(x，y)；(5)采用训练好的交通标志特征提取子网分别提取Ik(x，y)、Ik+1(x，y)、Ik+2(x，y)的特征Fk，Fk+1，Fk+2；(6)采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；(7)将特征F输入到训练好的交通标志识别子网进行交通标志识别。作为优选，所述交通标志检测模型为标准YOLOv3网络。所述采用第三样本集对交通标志识别子网进行第二次训练与测试的具体步骤为：(A1)将第三样本集中一个样本所包含的三帧图像依次输入交通标志特征提取子网，得到同一交通标志连续三帧图像的特征f1，f2和f3；(A2)将特征相加融合得到融合特征f＝(f1+f2+f3)/3，将融合特征f作为输入、f对应样本的类别作为输出，对交通标志识别子网进行再次训练与测试。所述步骤(3)中计算k+1帧的交通标志矩形外包围盒内的中心坐标高宽获取所述外包围盒内的图像Ik+1(x，y)，具体包括：(3-1)：采用SURF算法提取Ik(x，y)的特征点，记特征点坐标为特征点的特征描述子i＝1，2，...，K，K为特征点数量；(32)：在k+1帧图像中，构建以为中心、为高、为宽的候选区域Ic；其中W＞1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为特征点的特征描述子j＝1，2，...，M，M为特征点数量；(33)采用SURF特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤(2)重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值；如果P＞T，计算k+1帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+1(x，y)；方法如下：(a)计算k帧与k+1帧矩形外包围盒中心点偏移量：其中和为k帧与k+1帧中相匹配的一对特征点坐标；计算k+1帧矩形外包围盒区域中心点位置坐标(b)计算外包围盒矩形区域高和宽式中，M1为第二放大系数，W＞M1＞1；(c)k+1帧中矩形外包围盒区域内的图像即为Ik+1(x，y)。所述步骤(4)计算k+2帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+2(x，y)，具体包括：(41)在k+2帧图像中，构建以为中心、为高、为宽的候选区域Ic′；其中W＞1，为第一放大系数；对Ic′内的图像，采用SURF算法提取特征点，记特征点坐标为特征点的特征描述子l＝1，2，...，N，N为特征点数量；(42)采用SURF算法的特征点匹配方法，计算Ik(x，y)中的特征点与Ic′内图像的特征点相匹配的特征点数Q；如果Q≤T，跳转至步骤2重新检测视频数据中的交通标志；如果Q＞T，计算k+2帧的交通标志矩本文档来自技高网...

【技术保护点】
1.一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，其特征在于，所述训练阶段包括：/n(1)车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据，选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；/n建立交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试；/n对第一图像数据集中的图像沿矩形外包围盒进行裁剪并调整尺寸，构成第二图像数据集；/n将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；/n建立基于标准VGG 19的交通标志特征提取与识别网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；/n将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；/n保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试；/n所述识别阶段包括：/n(2)对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像I...

【技术特征摘要】
1.一种车辆行驶中交通标志检测与识别方法，包括训练阶段和识别阶段，其特征在于，所述训练阶段包括：
(1)车辆上设置可以拍摄道路旁交通标志的摄像头，获取所述摄像头在车辆行驶中采集的视频数据，选择视频中包含交通标志的图像并统一图像尺寸，对图像中的交通标志标注矩形外包围盒并添加类别标签，构成第一图像数据集；
建立交通标志检测模型，将第一图像数据集中的图像分为训练样本和测试样本，对交通标志检测模型进行训练与测试；
对第一图像数据集中的图像沿矩形外包围盒进行裁剪并调整尺寸，构成第二图像数据集；
将第二图像数据集中连续采集的三帧图像作为一个样本，构成第三样本集；
建立基于标准VGG19的交通标志特征提取与识别网络，所述交通标志特征提取与识别网络的卷积层部分为交通标志特征提取子网，所述交通标志特征提取与识别网络的全连接层和softmax部分为交通标志识别子网；
将第二图像数据集中的图像分为训练样本和测试样本，对交通标志特征提取与识别网络进行第一次训练与测试；
保持交通标志特征提取子网的参数不变，将第三样本集中的样本分为训练样本和测试样本，对交通标志识别子网进行第二次训练与测试；
所述识别阶段包括：
(2)对车辆行驶中采集的视频数据采用训练好的交通标志检测模型逐帧检测图像中的交通标志，当检测到交通标志时，记该帧为k帧，获取交通标志矩形外包围盒内的图像Ik(x，y)、外包围盒的中心坐标高宽
(3)获取视频数据中的k+1帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和外包围盒的位置信息，计算k+1帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+1(x，y)；
(4)获取视频数据中的k+2帧，基于k帧的交通标志矩形外包围盒内的图像Ik(x，y)和k+1帧外包围盒的位置信息，计算k+2帧的交通标志矩形外包围盒的中心坐标高宽获取所述外包围盒内的图像Ik+2(x，y)；
(5)采用训练好的交通标志特征提取子网分别提取Ik(x，y)、Ik+1(x，y)、Ik+2(x，y)的特征Fk，Fk+1，Fk+2；
(6)采用相加融合方法，得到融合特征F：F＝(Fk+Fk+1+Fk+2)/3；
(7)将特征F输入到训练好的交通标志识别子网进行交通标志识别。


2.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述交通标志检测模型为标准YOLOv3网络。


3.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述采用第三样本集对交通标志识别子网进行第二次训练与测试的具体步骤为：
(A1)将第三样本集中一个样本所包含的三帧图像依次输入交通标志特征提取子网，得到同一交通标志连续三帧图像的特征f1，f2和f3；
(A2)将特征相加融合得到融合特征f＝(f1+f2+f3)/3，将融合特征f作为输入、f对应样本的类别作为输出，对交通标志识别子网进行再次训练与测试。


4.根据权利要求1所述的车辆行驶中交通标志检测与识别方法，其特征在于，所述步骤(3)中计算k+1帧的交通标志矩形外包围盒内的中心坐标高宽获取所述外包围盒内的图像Ik+1(x，y)，具体包括：
(3-1)：采用SURF算法提取Ik(x，y)的特征点,记特征点坐标为特征点的特征描述子i＝1，2，...，K，K为特征点数量；
(3-2)：在k+1帧图像中，构建以为中心、为高、为宽的候选区域Ic；其中W>1，为第一放大系数；对Ic内的图像，采用SURF算法提取特征点，记特征点坐标为特征点的特征描述子j＝1，2，...，M，M为特征点数量；
(3-3)采用SURF特征点匹配方法，计算Ik(x，y)中的特征点与Ic内图像的特征点相匹配的特征点数P；如果P≤T，跳转至步骤(2)重新检测视频数据中的交通标志，T为预设的匹配特征点数阈值；如果P>T，计算k+1帧的交通标志矩形...

【专利技术属性】
技术研发人员：宋建新，吴浩民，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32