一种斑马线型人行横道检测方法技术

本发明专利技术公开了一种斑马线型人行横道检测方法。该方法利用相机采集图像，利用小型处理器对采集的图像进行处理，输出斑马线型人行横道的距离和方向。该方法能够检测白天、黑夜等不同光照条件下的斑马线型人行横道，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士过马路、无人车导航等应用场景的要求。

【技术实现步骤摘要】
一种斑马线型人行横道检测方法
本专利技术属于模式识别技术、图像处理技术、计算机视觉
，涉及一种斑马线型人行横道检测方法。
技术介绍
视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。现在，他们中的许多人使用白手杖或导盲犬协助自己的日常生活。白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险，但是因为训练导盲犬需要很大的成本，它们不能用于所有视觉障碍者。因此，手杖、导盲犬等传统工具无法为他们出行提供充分的协助。自从各种电子出行辅助(ETA)设备开发以来，已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路，许多辅助系统部署深度相机来检测可及的路径和障碍。然而，在这些系统中，几乎没有集成斑马线型人行横道检测。由于视力有限，视觉障碍者难以在室外出行。城市中人行横道无处不在，但不少路口没有都为视障人士配备声音辅助设备。因此，对于视障者避免道路危险来说，检测斑马线型人行横道至关重要。随着智能硬件和移动互联网技术的发展，无人车等自动控制技术有了长足进展。用于外卖、快递等的小型无人车，如果要像人一样在城市中穿梭，就不可缺少人行横道检测方法和系统，用以进行路口的精确导航。许多工作致力于解决人行横道检测问题。然而，大多数当前的解决方案应用于车辆的自动驾驶导航。自动驾驶中，相机相对于承载者是静止的；盲人辅助应用截然不同，斑马线型人行横道可以位于图像的任何位置，并且由手持相机捕获的视频是不稳定的。自动驾驶中斑马线型人行横道线与车辆行驶方向平行，在相机中的形状图形较为固定，背景也很简单。但盲人辅助应用中，斑马线型人行道可能呈现任意的方向，而且在背景中不显着。因此，用于视觉障碍者的人行道交通灯检测算法必须足够健壮，以应对各种环境。作为对视障人士的辅助方法，检测算法应该具有非常低的虚警率，这对于用户的安全是十分重要的。另外，实时性也是算法的一个要求。因为算法必须在便携式平台中实现，有限的系统资源需要有效的算法来维持适度的帧速率。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种斑马线型人行横道检测方法。本专利技术的目的是通过以下技术方案实现的：一种斑马线型人行横道检测方法，包括以下步骤：(1)采集彩色图像Color，Color面积大小为W×H＝area，W为Color的水平方向像素数，H为Color的竖直方向像素数。(2)将Color转换为灰度图像。将灰度图像或其下采样图像输入神经网络，将神经网络的输出层中数值最大值的节点所对应的阈值t作为二值化阈值，对灰度图像或其下采样图像进行阈值分割，提取灰度图像中灰度值大于t的合格像素。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，并提取该最小矩形区域的长边与Color竖直边的夹角b；进一步对候选区域经过候选区域面积a，夹角b和凹凸性的筛选(若其重心在区域的边界之外，则判定为凹图形，否则判定为凸图形)，筛选出a1<a<a2、0<b<b2、且为凸图形的候选区域作为合格候选区域，其中，a1、a2分别为合格候选区域面积的下限和上限，b2为合格候选区域夹角b的上限；由合格候选区域构成候选集合C。(5)选取C中不相同的任意两个初始合格候选区域i和j，再从C中选择除i和j以外、但与i、j相近的合格候选区域k，由i、j和一个或多个相近的合格候选区域k组成一致集合Sij；所述相近的合格候选区域的选择标准如下：①相近的合格候选区域的k的重心与合格候选区域i、j重心的连线距离均小于t1,②相近的合格候选区域的k的最小矩形区域长边与i或j的最小矩形区域长边夹角大于t2,③i、j重心连线与相近的合格候选区域k的最小区域矩形的两条相对的边相交；其中t1为相近的合格候选区域与初始合格候选区域的距离上限，t2为相近的合格候选区域与初始候选区域的夹角上限；(6)对一致集合Sij中的每个合格候选区域，计算其灰度平均值作为该区域的灰度值，记为v，及其最小矩形区域的长边与Color竖直边的夹角，记为g；计算Sij中所有候选区域的v的平均值m1、所有候选区域的g的平均值m2，剔除Sij中偏离的合格候选区域，所述偏离的合格候选区域为|v-m1|>t3且|g-m2|>t4,其中t3是判断为偏离区域的灰度阈值，t4是判断为偏离区域的夹角阈值。(7)在C中选取遍历所有的i和j组合，重复步骤(5)；对得到的每个一致集合Sij，计算集合内的标准差值D，选择D值最小的一致集合S*作为斑马线检测结果；所述标准差值D＝C1*D1+C2*D2+C3*D3+C4*D4，其中C1、C2、C3和C4取值范围均为[0,1]，D1、D2、D3和D4分别为四个标准差分量；所述的四个标准差分量分别定义如下其中，N为一致集合内的元素个数(所述元素为：剔除偏离的合格候选区域后，剩余的合格候选区域)，dr为第r个元素到直线(所述直线是：对所有元素的重心利用最小二乘法拟合而出的)的距离，Lr为第r个元素的最小矩形区域的长边长度，Wr为第r个元素的最小矩形区域的短边长度，Or为第r个元素的最小矩形区域的长边与Color竖直边的夹角，其他符号的定义如下L'r＝αyr+βW′r＝λyr+μ其中，yr是第r个元素的重心在图像坐标系y轴的坐标，α和β为用最小二乘法拟合的所有元素的最小矩形区域的长边长度与其y坐标的线性关系的系数，λ和μ为用最小二乘法拟合的所有元素的最小矩形区域的短边长度与其y坐标的线性关系的系数，om为所有元素的最小矩形区域的长边与Color竖直边的夹角的平均值。(8)一致集合S*中的元素即为斑马线型人行横道的条带，所有元素的最小矩形区域的短边长度的方向的平均值即为斑马线型人行横道的方向，一致集合S*构成的区域即为斑马线型人行横道的区域。进一步的，所述步骤2中的神经网络，通过以下方法得到：(2.1)彩色相机采集包含斑马线型人行横道的彩色图像Color。(2.2)将Color转为灰度图像，标记能够使得斑马线条带和背景分离的二值化阈值。(2.3)按照步骤(2.2)的方法标记m张(m>20)Color图像，将图像下采样到9*9大小，并将下采样的图像输入到三层前馈神经的网络(从输入层到输出层的网络层数依次分别为81、24、11)中进行训练；11个输出节点表示的二值化阈值分别是30、80、110、130、140、150、160、170、180、195、215。进一步的，步骤4中，10-6area<a1<10-4area，10-3area<a2<area,0<b2<45°；步骤5中，0<t1<W,0<t2<45°；步骤6中，250>t3>50，40>t4>本文档来自技高网...

【技术保护点】
1.一种斑马线型人行横道检测方法，其特征在于，包括以下步骤：(1)采集彩色图像Color，Color面积大小为W×H＝area，W为Color的水平方向像素数，H为Color的竖直方向像素数。(2)将Color转换为灰度图像。将灰度图像或其下采样图像输入神经网络，将神经网络的输出层中数值最大值的节点所对应的阈值t作为二值化阈值，对灰度图像或其下采样图像进行阈值分割，提取灰度图像中灰度值大于t的合格像素。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，并提取该最小矩形区域的长边与Color竖直边的夹角b；进一步对候选区域经过候选区域面积a，夹角b和凹凸性的筛选(若其重心在区域的边界之外，则判定为凹图形，否则判定为凸图形)，筛选出a1

【技术特征摘要】
1.一种斑马线型人行横道检测方法，其特征在于，包括以下步骤：(1)采集彩色图像Color，Color面积大小为W×H＝area，W为Color的水平方向像素数，H为Color的竖直方向像素数。(2)将Color转换为灰度图像。将灰度图像或其下采样图像输入神经网络，将神经网络的输出层中数值最大值的节点所对应的阈值t作为二值化阈值，对灰度图像或其下采样图像进行阈值分割，提取灰度图像中灰度值大于t的合格像素。(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，并提取该最小矩形区域的长边与Color竖直边的夹角b；进一步对候选区域经过候选区域面积a，夹角b和凹凸性的筛选(若其重心在区域的边界之外，则判定为凹图形，否则判定为凸图形)，筛选出a1<a<a2、0<b<b2、且为凸图形的候选区域作为合格候选区域，其中，a1、a2分别为合格候选区域面积的下限和上限，b2为合格候选区域夹角b的上限；由合格候选区域构成候选集合C。(5)选取C中不相同的任意两个初始合格候选区域i和j，再从C中选择除i和j以外、但与i、j相近的合格候选区域k，由i、j和一个或多个相近的合格候选区域k组成一致集合Sij；所述相近的合格候选区域的选择标准如下：①相近的合格候选区域的k的重心与合格候选区域i、j重心的连线距离均小于t1,②相近的合格候选区域的k的最小矩形区域长边与i或j的最小矩形区域长边夹角大于t2,③i、j重心连线与相近的合格候选区域k的最小区域矩形的两条相对的边相交；其中t1为相近的合格候选区域与初始合格候选区域的距离上限，t2为相近的合格候选区域与初始候选区域的夹角上限；(6)对一致集合Sij中的每个合格候选区域，计算其灰度平均值作为该区域的灰度值，记为v，及其最小矩形区域的长边与Color竖直边的夹角，记为g；计算Sij中所有候选区域的v的平均值m1、所有候选区域的g的平均值m2，剔除Sij中偏离的合格候选区域，所述偏离的合格候选区域为|v-m1|>t3且|g-m2|>t4,其中t3是判断为偏离区域的灰度阈值，t4是判断为偏离区域的夹角阈值。(7)在C中选取遍历所有的i和j组合，重复步骤(5)；对得到的每个一致集合Sij，计算集合内的标准差值D，选择D值最小的一致集合S*作为斑马线检测结果；所述标准差...

【专利技术属性】
技术研发人员：程瑞琦，杨恺伦，汪凯巍，于红雷，
申请(专利权)人：杭州视氪科技有限公司，
类型：发明
国别省市：浙江,33