一种基于视觉的交通信号灯自动检测识别方法技术

一种基于视觉的交通信号灯自动检测识别方法，它是一种利用颜色空间线性滤波和梯度方向直方图特征相结合的层级架构，通过训练来构建我国典型交通信号灯的检测识别模型。该方法包括训练和测试两个阶段，训练阶段完成训练数据集的收集、目标颜色光谱的确定以及分类模型参数的确定；测试阶段利用训练阶段获得的模型实现交通信号灯的检测识别，其包括交通信号灯候选区域筛选、连通域滤波、交通信号灯形状确认和交通信号灯指示方向确认。本发明专利技术克服了现有技术中交通信号灯检测识别实时性不好、识别精度对光照和模板敏感的缺点，取得了较好的检测识别效果，其技术成果在无人驾驶车辆智能决策和辅助驾驶系统领域具有广阔的应用前景。

【技术实现步骤摘要】

： 本专利技术提供，它涉及一种利用颜色 空间线性滤波和梯度方向直方图特征相结合的层级架构，通过训练来构建我国典型交通信 号灯的自动检测识别方法。属于特定目标检测识别
。
技术介绍
： 智能交通系统（Intelligent Transportation System,简称ITS)作为未来交通系 统的发展方向，是一种将先进的信息技术、数据通讯传输技术、控制技术、电子传感技术及 计算机技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全 方位发挥作用的，实时、准确、高效的综合的运输和管理系统。而无人驾驶车辆作为智能交 通系统中的重要分支，其在提高交通系统的方便性、快捷性和智能性方面的前景之广阔不 言而喻。而要想无人驾驶车辆在复杂的城市交通环境中安全平稳行驶，那么交通场景中交 通信号的感知与理解就显得至关重要。在城市环境的交通信号中，交通信号灯为车辆的安 全、高效行驶提供了基本保障。因此，只有为无人驾驶车辆提供鲁棒的交通信号灯的检测和 识别信息，以供中央决策单元的逻辑判断，才能真正实现无人驾驶车辆的安全上路，从而做 到无人驾驶车辆与有人驾驶车辆和行人和谐有序通行。 交通信号灯的检测与识别作为图像处理、计算机视觉、模式识别与机器学习等学 科的典型应用，在国内外引起了一些学者的关注。在目前的基于视觉的交通信号灯的检测 与识别中，为了满足实时性的要求，一股都采用层级检测思路：即首先通过颜色阈值分割 或形态学滤波得到交通信号灯的候选区域，再在候选区域中做交通信号灯形状信息的确认 以识别。在候选区域筛选阶段，由于交通信号灯是主动发光单元，通过相机得到的视频图 像中交通信号灯的发光单元经常颜色失真，因此普通的颜色空间阈值分割方法或者颜色查 表法不但阈值难以确定，而且对光照变化和颜色失真等情况的鲁棒性也不好，而形态学滤 波方法又只能针对圆形发光单元，且实时性不好；在形状确认阶段，目前主要采用的为模 板匹配的方法，该方法对模板的选择具有很大依赖性，且要想做到通用性，模板空间较大， 因此在实时性和通用性方面均很难达到较高精度。本专利技术针对上述情况，提出一种利用颜 色空间线性滤波筛选交通信号灯候选区域，利用颜色梯度方向直方图特征与支持向量机 (SupportVector Machine, SVM)进行交通信号灯检测识别的层级方法。该方法针对我国典 型交通信号灯而设计，达到了较高的检测识别精度。
技术实现思路
： 1、目的：本专利技术的目的是提供，该 方法利用约束能量最小化（Constrained Energy Minimization, CEM)方法来对交通图像的 颜色空间进行线性滤波，从而得到交通信号灯的候选区域，再在候选区域上提取图像的多 层梯度方向直方图（Multi-layer Histogram ofGradient，MHoG)特征和梯度方向直方图 (Histogram ofGradient，HoG)特征，利用SVM线性分类器进行交通信号灯的检测识别工作。 2、技术方案：本专利技术是通过以下技术方案实现的： 本专利技术，它包括如下两个阶段：训 练阶段和测试阶段。 阶段1 :训练阶段，该阶段包括如下三个步骤： 步骤1 :训练数据准备：训练阶段是测试阶段的基础，训练阶段需要准备训练数据 集。本训练数据集来自无人驾驶车辆在城市交通环境中收集得到。典型交通信号灯按颜 色可分为红灯、绿灯和黄灯3种。由于黄灯停留时间短，且对无人驾驶车意义不大，故不考 虑黄灯。因此，根据我国交通法规对交通信号灯的规定，对无人驾驶车辆有重要意义的典型 交通信号灯可分为：机动车信号灯红灯（圆形发光单元）、机动车信号灯绿灯（圆形发光单 元）、左转方向信号灯红灯（左箭头发光单元）、左转方向信号灯绿灯（左箭头发光单元）、 右转方向信号灯红灯（右箭头发光单元）、右转方向信号灯绿灯（右箭头发光单元）、直行 信号灯红灯（上箭头发光单元）、直行信号灯绿灯（上箭头发光单元）8个类别。 ⑴训练集S 由于本专利技术采用颜色空间滤波方法实现交通信号灯的候选区域筛选。故在训练阶 段的交通信号灯形状确认中，本专利技术采用将所有的红灯归为一类作为正样本集SPR，所有绿 灯归为一类，作为正样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本 集SN，并将样本集SPR、SPG和SN标记为训练集S。 ⑵训练集D 为了分辨交通信号灯指示的方向信息，在方向确认中，本专利技术采用将交通信号灯 发光单元人工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作 为样本集DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本 集DRD、DLT、DRT和DUP标记为训练集D。 步骤2 :目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的 RGB值若干，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量4 = [drt，drt，火3]和dg = [dgl，dg2, dg3]，以备测试阶段求取交通信号灯的候选区域。 步骤3 :特征提取与线性SVM分类器训练 (1)交通信号灯形状确认 H0G特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜 色信息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MH0G特征能 提取出较丰富的，与负样本具有高区分度的交通信号灯特征。交通信号灯形状确认阶段的 训练在训练集S上进行。具体提取过程如下： 首先将训练集S中的每一个样本规范化到WwinXHwin大小的矩形检测窗口 (Detection Window，DW)，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三 个通道分离出来，从而产生具有四层（Gray，R，G，B)的合成图像。然后在每一个通道的DW 上划分Wbl(K;kX Hbl(K;k大小的块（Block)，再在每一个块上以步长为stride划分Weell X Heell大 小的胞元（Cell)，并在每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一 个块上做归一化，从而将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成 MHoG特征。 在训练集S上的每一个样本得到MH0G特征之后，将SPR上提取的所有MH0G特征 向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为-1, 输送至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器。同理，将SPG上提 取的所有MH0G特征向量作为正样本并标记为+1，将SN上提取的所有MH0G特征向量作为负 样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出交通信号灯绿灯的分类器。 从而完成交通信号灯形状确认的训练过程。 ⑵交通信号灯指示方向确认 交通信号灯指示方向确认是在交通信号灯形状确认的基础上完成的，其特征提取 采用灰度图像上的H0G特征，分类器的训练采用One Vs All的方案。所有训练工作在训练 集D上完成。具体流程如下： 首先将样本集DRD上的所有H0G特征向量作为正样本并标记为+1，将样本集DLT、 DRT和DU本文档来自技高网...

【技术保护点】
一种基于视觉的交通信号灯自动检测识别方法，其特征在于：它包括如下两个阶段：训练阶段和测试阶段；训练阶段包括如下三个步骤：步骤1：训练数据准备：训练阶段需要准备训练数据集，该训练数据集来自无人驾驶车辆在城市交通环境中收集得到；典型交通信号灯按颜色分为红灯、绿灯和黄灯3种，由于黄灯停留时间短，且对无人驾驶车意义不大，故不考虑黄灯；根据我国交通法规对交通信号灯的规定，对无人驾驶车辆有重要意义的典型交通信号灯分为：机动车信号灯红灯即圆形发光单元、机动车信号灯绿灯即圆形发光单元、左转方向信号灯红灯即左箭头发光单元、左转方向信号灯绿灯即左箭头发光单元、右转方向信号灯红灯即右箭头发光单元、右转方向信号灯绿灯即右箭头发光单元、直行信号灯红灯即上箭头发光单元、直行信号灯绿灯即上箭头发光单元8个类别；(1)训练集S采用颜色空间滤波方法实现交通信号灯的候选区域筛选，故在训练阶段的交通信号灯形状确认中，采用将所有的红灯归为一类作为正样本集SPR，所有绿灯归为一类，作为正样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本集SN，并将样本集SPR、SPG和SN标记为训练集S；(2)训练集D为了分辨交通信号灯指示的方向信息，在方向确认中，采用将交通信号灯发光单元人工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作为样本集DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本集DRD、DLT、DRT和DUP标记为训练集D；步骤2：目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的RGB值复数个，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量dr＝[dr1，dr2，dr3]和dg＝[dg1，dg2，dg3]，以备测试阶段求取交通信号灯的候选区域；步骤3：特征提取与线性SVM分类器训练(1)交通信号灯形状确认HOG特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜色信息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MHOG特征能提取出与负样本具有高区分度的交通信号灯特征；交通信号灯形状确认阶段的训练在训练集S上进行，具体提取过程如下：首先将训练集S中的每一个样本规范化到Wwin×Hwin大小的矩形检测窗口即Detection Window，DW，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三个通道分离出来，从而产生具有四层Gray，R，G，B的合成图像，然后在每一个通道的DW上划分Wblock×Hblock大小的块Block，再在每一个块上以步长为stride划分Wcell×Hcell大小的胞元Cell，并在每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一个块上做归一化，从而将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成MHoG特征；在训练集S上的每一个样本得到MHOG特征之后，将SPR上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器；同理，将SPG上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出交通信号灯绿灯的分类器，从而完成交通信号灯形状确认的训练过程；(2)交通信号灯指示方向确认交通信号灯指示方向确认是在交通信号灯形状确认的基础上完成的，其特征提取采用灰度图像上的HOG特征，分类器的训练采用One Vs All的方案，所有训练工作在训练集D上完成；具体流程如下：首先将样本集DRD上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT、DRT和DUP上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出圆形发光单元的分类器；然后将样本集DUP上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT和DRT上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出上箭头发光单元的分类器；最后将样本集DLT上的所有HOG特征向量作为正样本并标记为+1，将样本集DRT上的所有HOG特征向量作为负样本并标记为‑1，输送至线性SVM分类器中，调节参数，训练出左箭头发光单元和右箭头发光单元的分类器；测试阶段包括如下五个步骤：步骤1：计算机读取数据；首先将相机拍摄的具有3通道的RGB视频数据利用OpenCV开源库逐帧读入计算机内存中，为后续算法提供数据源，实验采用的测试数据是无人驾驶测试车辆采集到的与训练数据集不相同的帧率为25fps，图像大小为1000*1000的RGB三通道视频数据；步骤2：交通信号灯...

【技术特征摘要】
1. 一种基于视觉的交通信号灯自动检测识别方法，其特征在于：它包括如下两个阶 段：训练阶段和测试阶段； 训练阶段包括如下三个步骤： 步骤1 :训练数据准备：训练阶段需要准备训练数据集，该训练数据集来自无人驾驶车 辆在城市交通环境中收集得到；典型交通信号灯按颜色分为红灯、绿灯和黄灯3种，由于黄 灯停留时间短，且对无人驾驶车意义不大，故不考虑黄灯；根据我国交通法规对交通信号灯 的规定，对无人驾驶车辆有重要意义的典型交通信号灯分为：机动车信号灯红灯即圆形发 光单元、机动车信号灯绿灯即圆形发光单元、左转方向信号灯红灯即左箭头发光单元、左转 方向信号灯绿灯即左箭头发光单元、右转方向信号灯红灯即右箭头发光单元、右转方向信 号灯绿灯即右箭头发光单元、直行信号灯红灯即上箭头发光单元、直行信号灯绿灯即上箭 头发光单元8个类别； ⑴训练集S 采用颜色空间滤波方法实现交通信号灯的候选区域筛选，故在训练阶段的交通信号 灯形状确认中，采用将所有的红灯归为一类作为正样本集SPR，所有绿灯归为一类，作为正 样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本集SN，并将样本集 SPR、SPG和SN标记为训练集S ; ⑵训练集D 为了分辨交通信号灯指示的方向信息，在方向确认中，采用将交通信号灯发光单元人 工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作为样本集 DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本集DRD、 DLT、DRT和DUP标记为训练集D ; 步骤2 :目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的RGB 值复数个，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量4 = [drt，drt，火3]和dg = [dgl，dg2, dg3]，以备测试阶段求取交通信号灯的候选区域； 步骤3 :特征提取与线性SVM分类器训练 (1)交通信号灯形状确认 HOG特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜色信 息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MH0G特征能提取 出与负样本具有高区分度的交通信号灯特征；交通信号灯形状确认阶段的训练在训练集 S 上进行，具体提取过程如下： 首先将训练集S中的每一个样本规范化到WwinXHwin大小的矩形检测窗口即Detection Window，DW，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三个通道分离出 来，从而产生具有四层Gray，R，G，B的合成图像，然后在每一个通道的DW上划分W bl(K;kXHbl()ck 大小的块Block，再在每一个块上以步长为stride划分WeellXHeell大小的胞元Cell，并在 每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一个块上做归一化，从而 将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成MHoG特征； 在训练集S上的每一个样本得到MH0G特征之后，将SPR上提取的所有MH0G特征向量 作为正样本并标记为+1，将SN上提取的所有MH0G特征向量作为负样本并标记为-1，输送 至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器；同理，将SPG上提取的所 有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并 标记为-1，输送至线性SVM分类器中，调节参数，...

【专利技术属性】
技术研发人员：史振威，陈权，邹征夏，于新然，张长水，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11