一种用于视障人士的人行道交通灯检测系统和方法技术方案

本发明专利技术公开了一种用于视障人士的人行道交通灯检测方法。该方法利用相机采集图像，利用小型处理器对采集的图像进行处理，输出人行道交通灯的状态和实际距离。该方法能够检测白天、黑夜等不同光照条件下的人行道交通灯，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士过马路的要求。

Sidewalk traffic light detecting system and method for visually impaired person

The invention discloses a sidewalk traffic light detecting method for visually impaired people. This method uses camera to collect image, and uses small processor to process the collected image, and outputs the traffic light's state and actual distance. The method can detect the traffic lights in daytime and night under different illumination conditions. The method has low false detection rate, low undetected rate, good real-time performance and good cross platform. It can meet the needs of visually impaired people crossing the road.

【技术实现步骤摘要】
一种用于视障人士的人行道交通灯检测系统和方法
本专利技术属于模式识别技术、图像处理技术、视障人士辅助
，涉及一种人行道交通灯检测系统和方法。
技术介绍
视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。现在，他们中的许多人使用白手杖或导盲犬协助自己的日常生活。显然，白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险，但是因为训练导盲犬需要很大的成本，它们不能用于所有视觉障碍者。因此，手杖、导盲犬等传统工具无法为他们出行提供充分的协助。自从电子出行辅助(ETA)设备开发以来，已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路，许多辅助系统部署深度相机来检测可及的路径和障碍。然而，特定项目的识别，例如交通灯检测，几乎没有集成在所有这些系统中。由于视力有限，视觉障碍者感觉很难穿越道路。市区有很多行人交通灯，但没有都为视障人士配备声音辅助设备。因此，对于视障者避免道路危险来说，检测行人交通灯至关重要。许多工作致力于解决交通灯检测问题。然而，大多数当前的解决方案应用于自主车辆导航。在这些情况下，相机相对于承载者是静止的。盲人辅助应用截然不同，人行横道和交通灯可以位于图像的任何位置，并且由手持相机捕获的视频是不稳定的。车辆交通灯具有圆形或箭头形状，背景也很简单，例如天空。但人行道交通灯具有复杂的形状，而且在背景中不显着。因此，用于视觉障碍者的人行道交通灯检测算法必须足够健壮，以应对各种环境。作为对视障人士的辅助方法，检测算法应该具有非常低的虚警率，这对于用户的安全是十分重要的。另外，实时性也是算法的一个要求。因为算法必须在便携式平台中实现，有限的系统资源需要有效的算法来维持适度的帧速率。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种人行道交通灯检测系统和方法。本专利技术的目的是通过以下技术方案实现的：一种人行道交通灯检测系统，所述系统包含一个彩色相机，一个小型处理器，一个耳机模块，一个电池模块。彩色相机与小型处理器相连，电池模块与小型处理器相连。彩色相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，将识别到的交通灯信息，转化为声音信号，并传给耳机模块，进而给用户。上述系统的人行道交通灯检测方法如下:(1)彩色相机采集到的彩色图像Color，类似于图3，传给小型处理器进行处理。(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10-6area<a1<10-4area，10-3area<a2<10-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。(7)根据图像特征，通过SVM模型对检测区域进行预测，得到预测结果；所述预测结果选自：(a)红或黄人行道交通灯、(b)绿人行道交通灯、(c)非人行道交通灯。(8)针对步骤7输出的预测结果进行验证，预测结果为(b)的情况下，若检测区域色相均值h1<Hue<h2，则最后结果为绿灯；否则判定为非人行道交通灯。其中参数取值范围为100<h1<180，150<h2<220。预测结果为(a)的情况下，若检测区域包裹色相均值wh1<WH<wh2，则最后结果为红灯。若检测区域包裹色相均值wh3<WH<wh4，则最后结果为黄灯；否则判定为非人行道交通灯。其中参数取值范围为90<wh1<140，170<wh2<210；210<wh3<260，200<wh4<290。包裹色相(WH)，定义为WH＝(Hue+180)mod360。(9)对第n-m帧图像中的每个检测区域建立预期区域，组成预期区域集合，并对每个预期区域构建一个容量为m检测结果序列；通过以下方法对预期区域集合进行不断更新，直到当前帧n：将每一帧中所有检测区域与前一帧的预期区域集合相匹配。如果检测区域的中心不在任何一个预期区域的范围内，则利用该检测区域新建一个预期区域及对应的容量为m检测结果序列。若检测区域的中心在前一帧的预期区域内，则用该检测区域的预期区域更新上一帧中匹配的预期区域，并将该检测区域的检测结果加入到检测结果序列中。所述预期区域的建立方法为：以该检测区域的最小矩形区域的中心为扩展中心，对最小矩形区域进行高宽等比扩展30-60倍后得到的。(10)统计每个预期区域对应的检测结果序列中存储的检测结果，计算置信度其中signal表示红黄绿三种检测结果之一，(11)选择最大置信度的那个颜色作为最终红绿灯检测结果输出，如图4所示。(12)输出结果通过耳机模块，用语音的形式传递给盲人。步骤7中的SVM训练模型，通过以下方法得到：(1)彩色相机采集包含绿人行道交通灯的彩色图像Color，传给小型处理器进行处理。(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a本文档来自技高网...

【技术保护点】
一种用于视障人士的人行道交通灯检测系统，所述系统包含一个彩色相机，一个小型处理器，一个耳机模块，一个电池模块。彩色相机与小型处理器相连，电池模块与小型处理器相连。彩色相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，将识别到的交通灯信息，转化为声音信号，并传给耳机模块，进而给用户。

【技术特征摘要】
1.一种用于视障人士的人行道交通灯检测系统，所述系统包含一个彩色相机，一个小型处理器，一个耳机模块，一个电池模块。彩色相机与小型处理器相连，电池模块与小型处理器相连。彩色相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，将识别到的交通灯信息，转化为声音信号，并传给耳机模块，进而给用户。2.一种权利要求1所述系统的人行道交通灯检测方法，其特征在于，包括以下步骤：(1)彩色相机采集到的彩色图像Color，传给小型处理器进行处理。(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10-6area<a1<10-4area，10-3area<a2<10-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。(7)根据图像特征，通过SVM模型对检测区域进行预测，得到预测结果；所述预测结果选自：(a)红或黄人行道交通灯、(b)绿人行道交通灯、(c)非人行道交通灯。(8)针对步骤7输出的预测结果进行验证，预测结果为(b)的情况下，若检测区域色相均值h1<Hue<h2，则最后结果为绿灯；否则判定为非人行道交通灯。其中参数取值范围为100<h1<180，150<h2<220。预测结果为(a)的情况下，若检测区域包裹色相均值wh1<WH<wh2，则最后结果为红灯。若检测区域包裹色相均值wh3<WH<wh4，则最后结果为黄灯；否则判定为非人行道交通灯。其中参数取值范围为90<wh1<140，170<wh2<210；210<wh3<260，200<wh4<290。包裹色相(WH...

【专利技术属性】
技术研发人员：于红雷，程瑞琦，杨恺伦，龙宁波，汪凯巍，
申请(专利权)人：杭州视氪科技有限公司，
类型：发明
国别省市：浙江,33