一种交通信号灯识别系统及其识别方法技术方案

本发明专利技术属于无人驾驶汽车的技术领域，具体的说是一种基于视频信号图像处理技术的交通信号灯识别系统及其识别方法。该系统包括车载前置摄像头、图像识别装置、语音芯片、扬声器、加速踏板和制动器，利用图像识别装置对车载前置摄像头采集的信号进行判断，图像识别装置由颜色识别、形状识别、形状二次确认和连续图像识别结果验证组成，对于车载前置摄像头采集到的图像采用总体上基于RGB空间进行识别，局部基于HSL空间进行识别的双轨方式。本发明专利技术提出的交通信号灯识别方法简单、高效，对于识别结果多次进行确认验证，具有很高的可靠性，实验表明该设计方法准确率高，具有实时检测交通信号灯的能力，能满足实际道路交通情况下交通信号灯识别的工作需求。

【技术实现步骤摘要】
一种交通信号灯识别系统及其识别方法
本专利技术属于无人驾驶汽车的
，具体的说是一种基于视频信号图像处理技术的交通信号灯识别系统及其识别方法。
技术介绍
随着改革开放以来我国经济社会的不断发展，汽车日益得到普及，给人们生活带来极大便利的同时也带来了很多的问题，其中最突出问题的就是交通事故频发造成的人员伤亡数量不断上升。交通事故主要是由驾驶人员技术不足、违规违章、疲劳驾驶等人为因素造成的，所以减小驾驶人员误判断误操作造成的负面影响，是提高道路安全性的有效措施。交通信号灯作为现代城市道路交通灯的一部分，是重要的信息来源。如今全世界的色弱、色盲的人有很多，这些人群无法正确辨别颜色，甚至完全失去辨别颜色的能力，他们不能正确地区分交通信号灯的颜色就可能引起交通事故，给自己和他人带来很大的危险，因此构建汽车交通信号灯识别系统给这类人群驾车带来了希望。另外，驾驶人员疲劳驾驶或者注意力不集中时就很容易忽视道路交通信号灯提示的信息，存在很大的安全隐患，汽车交通信号灯识别系统能自动识别信号灯，提供危险报警甚至直接控制车辆的行驶状态，从而起到辅助驾驶的作用，大大提高了车辆的行驶安全性。不仅局限在辅助驾驶方面，汽车交通信号灯识别更是无人驾驶汽车安全行驶的重要保障。
技术实现思路
本专利技术提供了一种准确度高、实时性好、能满足实际道路交通情况下交通信号灯识别的工作需求的交通信号灯识别系统及其识别方法，解决了由于驾驶人员误判交通信号灯造成负面影响的问题。本专利技术技术方案结合附图说明如下：一种交通信号灯识别系统，该系统包括车载前置摄像头、图像识别装置、语音芯片、扬声器、加速踏板和制动器，其中所述的车载前置摄像头安装在前保险杠中间位置；所述的车载前置摄像头的输出端与图像识别装置的输入端相连；所述的图像识别装置的输出端与加速踏板、制动器、语音芯片的输入端相连；所述的语音芯片的输出端与扬声器的输入端相连。所述的图像识别装置为TL6748F-EVMTMS320C6748；所述的语音芯片采用型号为：QGPH6340；一种交通信号灯识别系统的识别方法，该方法包括以下步骤：步骤一、利用车载前置摄像头实时采集道路交通信号视频，基于视频信号的每一帧图像进行交通信号灯识别；步骤二、利用图像识别装置对车载前置摄像头采集的信号进行判断，若是绿灯，则将信号传递给加速踏板，控制加速踏板使车辆行驶；若是红灯或者黄灯，则将信号传递给制动器，控制制动器使车辆制动停车；同时，将判断绿灯或红灯或黄灯的结果传递给语音芯片；步骤三、语音芯片控制扬声器进行语音播报提示。所述的步骤二中图像识别装置由颜色识别、形状识别、形状二次确认和连续图像识别结果验证组成，对于车载前置摄像头采集到的图像采用总体上基于RGB空间进行识别，局部基于HSL空间进行识别的双轨方式，具体方法如下：1)采用加权平均的方法对图像进行灰度化处理:h(x，y)＝0.30×R(x，y)+0.60×G(x，y)+0.10×B(x，y)其中，h(x，y)为转换后在(x，y)点的灰度值，R(x，y)为RGB图像在(x，y)点的R通道分量，G(x，y)为RGB图像在(x，y)点的G通道分量，B(x，y)为RGB图像在(x，y)点的B通道分量，且R(x，y)、G(x，y)、B(x，y)∈[0，255]；2)再采取直方图均衡化的方式对灰度图像进行均衡处理，增强图像的对比度；3)最后采用类别之间方差最大算法自动选取阈值对均衡化图像进行二值化处理，高于阈值的置为1，低于阈值的置为0；4)分别设置红色、绿色和黄色的筛选条件如下所示：(R-B)≥75∩(R-G)≥65(G-R)≥80∩(G-B)≥5(G-B)≥75∩(R-B)≥65对原始图像进行基于以上条件的颜色筛选，把交通信号灯的红、绿、黄发光区域分割出来，同时把不符合以上颜色筛选条件的区域去除；5)用二值图中对应位置区域替换彩色区域，将彩色灯体和干扰区域变成白色；6)对步骤5)中经颜色筛选得到的二值图进行腐蚀、膨胀和开运算的形态学处理；7)构建所有连通区域各自在主轴方向的最小外接矩形；8)遍历所有的连通区域主轴最小外接矩形，将符合筛选阈值的矩形标定出来，并将他们的尺寸和位置信息反馈到原始彩色图像中，在原始彩色图中将同一位置和相同尺寸的区域裁剪出来，放入存储器中，达到精确定位交通信号灯的目的；9)使用的车载前置摄像头拍摄的图像是基于RGB色彩空间的，RGB空间结构简单，三个通道的高相关性不能完整地保留形状，从存储器中提取出基于RGB空间的候选区域，将它们转换到HSL空间；10)将R、G、B分量进行归一化处理，得到R′、G′、B′∈[0,1]，由R′、G′、B′分量转换成H、S、L分量。11)提取HSL空间候选区域的L通道明亮度图；12)对L通道明亮度图进行二值化处理，得到候选区域二值图；13)依国家标准GB14887-2011对圆形和箭头形交通信号灯尺寸要求作出圆形、左向箭头、前向箭头和右向箭头二值图作为形状对比的模板；14)将所有的候选区域二值图和二值图模板进行尺寸统一化处理，统一放缩到200×200的尺寸；15)遍历40000个像素点进行逐一对比，若在图像某一像素点位置候选区域二值图和二值图模板的灰度级同为1或同为0，记为相同像素点；若灰度级不相同，记为不同像素点；16)整幅图像中相同的像素点个数占总像素点个数的比例叫做匹配相似度；其中，N.same为相同的像素点个数；N.all为总像素点个数，即N.all＝40000；S为匹配相似度；17)计算所有候选区域二值图与4个二值图模板依次对比的匹配相似度，取相似度最高的为形状识别的最佳匹配结果S*；S*＝max{S11、S12、S13、S14......Sn1、Sn2、Sn3、Sn4}；其中，S11为第1个候选区域二值图与圆形二值图模板的匹配相似度，S12为第1个候选区域二值图与左向箭头二值图模板的匹配相似度，S13为第1个候选区域二值图与前向箭头二值图模板的匹配相似度，S14为第1个候选区域二值图与右向箭头二值图模板的匹配相似度，Sn1为第n个候选区域二值图与圆形二值图模板的匹配相似度，Sn2为第n个候选区域二值图与左向箭头二值图模板的匹配相似度，Sn3为第n个候选区域二值图与前向箭头二值图模板的匹配相似度，Sn4为第n个候选区域二值图与右向箭头二值图模板的匹配相似度。18)得到最佳匹配结果S*对应的候选区域，对区域再次确认，将区域等分成四个部分，统计四个部分白色像素点的个数,依次为Num1、Num2、Num3、Num4；如果两部分之间白色像素点个数的差值Δ＜150，则认为这两部分白色像素点个数近似相等，否则不相等；19)用以下判断条件对最佳匹配结果再次进行确认：20)若最佳匹配结果和二次确认结果一致，那么输出形状识别的结果；若最佳匹配结果和二次确认结果不一致，那么选择匹配相似度第二大的候选区域进行二次确认，依次往复，直至二者结果一致，停止循环，输出形状识别的结果；21)综合步骤4)颜色筛选的条件、步骤17)形状对比的最佳匹配结果及步骤19)二次确认结果，初步判断交通信号灯的类型Dx即红色圆形、绿色圆形、黄色圆形、红色左向箭头、绿色左向箭头、黄色左向箭头、红色前向箭头、绿色前向箭头、黄色前向箭头、红色右向箭头、绿色右向箭头本文档来自技高网...

【技术保护点】
1.一种交通信号灯识别系统，其特征在于，该系统包括车载前置摄像头、图像识别装置、语音芯片、扬声器、加速踏板和制动器，其中所述的车载前置摄像头安装在前保险杠中间位置；所述的车载前置摄像头的输出端与图像识别装置的输入端相连；所述的图像识别装置的输出端与加速踏板、制动器、语音芯片的输入端相连；所述的语音芯片的输出端与扬声器的输入端相连。

【技术特征摘要】
1.一种交通信号灯识别系统，其特征在于，该系统包括车载前置摄像头、图像识别装置、语音芯片、扬声器、加速踏板和制动器，其中所述的车载前置摄像头安装在前保险杠中间位置；所述的车载前置摄像头的输出端与图像识别装置的输入端相连；所述的图像识别装置的输出端与加速踏板、制动器、语音芯片的输入端相连；所述的语音芯片的输出端与扬声器的输入端相连。2.根据权利要求1所述的一种交通信号灯识别系统，其特征在于，所述的图像识别装置为TL6748F-EVMTMS320C6748。3.根据权利要求1所述的一种交通信号灯识别系统，其特征在于，所述的语音芯片采用型号为：QGPH6340。4.根据权利要求1所述的一种交通信号灯识别系统的识别方法，其特征在于，该方法包括以下步骤：步骤一、利用车载前置摄像头实时采集道路交通信号视频，基于视频信号的每一帧图像进行交通信号灯识别；步骤二、利用图像识别装置对车载前置摄像头采集的信号进行判断，若是绿灯，则将信号传递给加速踏板，控制加速踏板使车辆行驶；若是红灯或者黄灯，则将信号传递给制动器，控制制动器使车辆制动停车；同时，将判断绿灯或红灯或黄灯的结果传递给语音芯片；步骤三、语音芯片控制扬声器进行语音播报提示。5.根据权利要求4所述的一种交通信号灯识别系统的识别方法，其特征在于，所述的步骤二中图像识别装置由颜色识别、形状识别、形状二次确认和连续图像识别结果验证组成，对于车载前置摄像头采集到的图像采用总体上基于RGB空间进行识别，局部基于HSL空间进行识别的双轨方式，具体方法如下：1)采用加权平均的方法对图像进行灰度化处理：h(x，y)＝0.30×R(x，y)+0.60×G(x，y)+0.10×B(x，y)其中，h(x，y)为转换后在(x，y)点的灰度值，R(x，y)为RGB图像在(x，y)点的R通道分量，G(x，y)为RGB图像在(x，y)点的G通道分量，B(x，y)为RGB图像在(x，y)点的B通道分量，且R(x，y)、G(x，y)、B(x，y)∈[0，255]；2)再采取直方图均衡化的方式对灰度图像进行均衡处理，增强图像的对比度；3)最后采用类别之间方差最大算法自动选取阈值对均衡化图像进行二值化处理，高于阈值的置为1，低于阈值的置为0；4)分别设置红色、绿色和黄色的筛选条件如下所示：(R-B)≥75∩(R-G)≥65(G-R)≥80∩(G-B)≥5(G-B)≥75∩(R-B)≥65对原始图像进行基于以上条件的颜色筛选，把交通信号灯的红、绿、黄发光区域分割出来，同时把不符合以上颜色筛选条件的区域去除；5)用二值图中对应位置区域替换彩色区域，将彩色灯体和干扰区域变成白色；6)对步骤5)中经颜色筛选得到的二值图进行腐蚀、膨胀和开运算的形态学处理；7)构建所有连通区域各自在主轴方向的最小外接矩形；8)遍历所有的连通区域主轴最小外接矩形，将符合筛选阈值的矩形标定出来，并将他们的尺寸和位置信息反馈到原始彩色图像中，在原始彩色图中将同一位置和相同尺寸的区域裁剪出来，放入存储器中，达到精确定位交通信号灯的目的；9)使用的车载前置摄像头拍摄的图像是基于RGB色彩空间的，RGB空间结构简单，三个通道的高相关性不能完整地保留形状，从存储器中提取出基于RGB空间的候选区域，将它们转换到HSL空间；10)将R、G、B分量进行归一化处理，得到R′、G′、B′∈[0，1]，由R′、G′、B′分量转换成H、S、L分量。11)提取HSL空间候选区域的L通道明亮度图；12)对L通道明亮度图进行二值化处理，得到候选区域二值图；13)依国家标准GB14887-2011对圆形和箭头形交通信号灯尺寸要求作出圆形、左向箭头、前向箭头和右向箭头二值图作为形状对比的模板；14)将所有的候选区域二值图和二值图模板进行尺寸统一化处理，统一放缩到200×200的尺寸；15)遍历40000个像素点进行逐一对比，若在图像某一像素点位置候选区域二值图和二值图模板的灰度级同为1或同为0，记为相同像素点；若灰度级不相同，记为不同像素点；16)整幅图像中相同的像素点个数占总像素点个数的比例叫做匹配...

【专利技术属性】
技术研发人员：贾士政，冷智鑫，高炳钊，刘伟，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22