一种基于机器学习识别与图像分割的盲道识别定位算法制造技术

一种基于机器学习识别与图像分割的盲道图像定位算法，首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而使用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。本发明专利技术通过盲道独特的纹理特征识别盲道，能够同时识别不同颜色的盲道，满足了视觉导盲仪中盲道定位功能的实际应用需求。

A Blind Track Recognition and Location Algorithm Based on Machine Learning Recognition and Image Segmentation

【技术实现步骤摘要】
一种基于机器学习识别与图像分割的盲道识别定位算法
本专利技术涉及一种基于机器学习识别与图像分割的盲道识别定位算法，用于确定盲道在图像中的位置以引导盲人沿盲道行走，尤其适用于计算机视觉导盲。
技术介绍
目前传统的方法是借助导盲杖或导盲犬等来协助盲人行走，然而它们都有很大的局限性：导盲杖的探测范围有限且精度不高，而导盲犬的数量较少且价格昂贵，因此盲人的出行安全难以得到保障。除此以外，虽然现代化的电子导盲设备多种多样，例如基于红外、蓝牙、射频等原理的非视觉导盲仪等，但是这些设备的应用也较为有限。实际上，盲人缺失的是视觉，只有计算机视觉导盲装置才可能最大程度弥补盲人的生理缺陷，最大程度缩小盲人相对于常人行为能力的巨大差距。近些年，世界各地开始致力于开发计算机视觉导盲装置，希望通过这些设备可以帮助盲人真正地安全出行，可以说，计算机视觉导盲已经成为了如今导盲研究领域的热点，而导盲道作为最普遍的导盲道路设施必然是视觉处理的重点。国内外对盲道识别、分割进行了一定的研究，主要基于颜色与纹理两种信息识别、分割盲道。颜色聚类分析的方法通过将原RGB图像转换到Lab或HSL颜色空间进行聚类分析，选取合适的阈值对整幅图像进行分割，确定盲道区域。纹理聚类分析的方法是通过灰度直方图、灰度共生矩阵等方法提取纹理特征再进行聚类分析，选取合适阈值分割出盲道区域。但现有的方法存在一定的缺陷：(1)基于颜色聚类分析的方法对颜色与光照敏感，且无法适用于盲道与背景区域颜色相近的情况；(2)基于纹理聚类分析的方法对光照适应性较好，但仍未解决盲道与背景区域对比度低时的识别问题。由于上述缺陷的存在，因而在计算机视觉导盲中，现有方法应用的效果不够理想。
技术实现思路
为了解决上述问题，本专利技术提供了一种基于机器学习识别与图像分割的盲道识别定位算法，能够对各种颜色的盲道有较好的识别效果，提高了引导盲人行走的可靠性。本专利技术的技术解决方案是：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道形状失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角步骤包括：步骤一：利用双目摄像头对盲道进行拍摄，获取盲道的左、右相机图像；步骤二：利用双目视觉信息计算得到盲道所在平面的法向量步骤三：根据法向量通过两次旋转与一次平移将相机坐标系OcXcYcZc转换到鸟瞰坐系ObXbYbZb，把倾斜视角下的道路图像转换为鸟瞰视角，消除射影变换带来的盲道失真。所述的采集训练图像正负样本，通过LBP算子提取样本纹理的特征向量，利用Adaboost算法训练盲道识别分类器，然后利用分类器在线识别盲道区域的步骤包括：步骤一：对包含盲道的鸟瞰图进行标记，作为正样本，不含盲道的整幅图片作为负样本。步骤二：利用LBP算子对采集的正负样本逐个提取特征向量，用此向量来描述样本的纹理特征。步骤三：将上一步提取到的正负样本的特征向量作为训练数据，设置相应的分类器训练参数，训练盲道识别分类器。步骤四：对一幅新的图像，采用滑动窗口遍历整幅图像，并将每个窗口区域输入到训练好的盲道级联分类器中，若某个区域通过了所有层的强分类器，则标记此区域为盲道，若整幅图像的所有区域都未被标记，则认为此图像中不存在盲道。所述的对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线的步骤包括。步骤一：根据识别结果得到前景图像。获取上一步盲道分类器识别的盲道区域结果，选取识别矩形框的最大内接圆作为确信的盲道区域，并将圆内的像素赋值为255，其它区域像素赋值为0，得到前景图像。步骤二：在前景图像的基础上获取背景图像。背景图像中主要标记确信的非盲道区域和需要标记分水岭划分准确分界线的未知区域。在前景图像上，通过深度膨胀来获得一个超过前景大小的区域，并对整幅图像进行阈值处理，将白色区域的像素值转换为0，定义为未知区域，而将黑色区域的像素值转换成128，定义为非盲道区域，即得到了背景图像。步骤三：利用标记分水岭算法分割盲道区域。将前景、背景及未知区域合成为一个标记图像，将标记图像与梯度图像作为标记分水岭算法的输入。标记分水岭算法根据标记得到的先验知识，从前景区域和背景区域开始同时向未知区域进行生长，直到达到两个区域的分界为止，最终水坝的位置便是所需要得到的盲道边界，从而分割出盲道区域。步骤四：确定盲道区域中心线。根据标记分水岭分割结果，采用Canny算子检测区域的边缘，得到盲道区域边缘线。对边缘图像采用Hough变换检测盲道边界所在直线，并根据两条边界确定盲道的中心线。将检测到的中心线再经由单应矩阵逆变换到原图像，最终实现盲道在图像中的定位。本专利技术与现有技术相比的优点在于：(1)鸟瞰图消除了盲道倾斜视角带来的射影失真；(2)基于机器学习识别的方法能够抓住盲道纹理的独特特征，准确识别不同颜色的盲道；(3)通过形态学操作的标记分水岭能够准确分割出盲道区域；(4)利用直线表征盲道图像区域定位结果，更加方便。附图说明图1为本专利技术基于机器学习识别与图像分割的盲道识别定位算法的总体流程图；图2为本专利技术相机坐标系与鸟瞰坐标系几何关系示意图；图3为本专利技术训练用正负样本示意图，其中(a)为正样本，(b)、(c)为负样本。图4为本专利技术盲道LBP特征向量提取图5为本专利技术盲道识别结果图6为本专利技术识别、分割、定位过程中每一步结果具体实施方式本专利技术基于机器学习识别与图像分割的盲道图像定位算法总体流程如图1所示，具体包括：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。下面结合说明书附图对本专利技术中的各个部分做详细说明：所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角示意图如图2所示，其步骤包括：步骤一：对盲道进行拍摄，获取盲道的左、右相机图像；步骤二：由利用双目视觉信息得到盲道所在平面的法向量为步骤三：如图2所示，通过两次旋转与一次平移可将相机坐标系OcXcYcZc转换到鸟瞰坐系ObXbYbZb。根据步骤二得到的地面的法向量两次旋转的角度可以由计算法向量与各坐标轴的夹角近似获取。设绕Zc轴旋转的角度为θ，旋转矩阵为RZ(θ)，绕Xc轴旋转的角度为α，旋转矩阵为RX(α)，则旋转矩阵Rcb为：平移向量为Tcb，由旋转后的鸟瞰坐标系ObXbYbZb的沿Yb轴负方向移动，至鸟瞰图视角左边缘本文档来自技高网...

【技术保护点】
1.一种基于机器学习识别与图像分割的盲道图像定位算法，其特征在于：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。

【技术特征摘要】
1.一种基于机器学习识别与图像分割的盲道图像定位算法，其特征在于：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。2.根据权利要求1所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角步骤包括：步骤一：利用双目摄像头对盲道进行拍摄，获取盲道的左、右相机图像；步骤二：利用双目视觉信息计算得到盲道所在平面的法向量步骤三：根据法向量通过两次旋转与一次平移将相机坐标系OcXcYcZc转换到鸟瞰坐系ObXbYbZb，把倾斜视角下的道路图像转换为鸟瞰视角，消除射影变换带来的盲道失真。3.根据权利要求1所述的采集训练图像正负样本，通过LBP算子提取样本纹理的特征向量，利用Adaboost算法训练盲道识别分类器，然后利用分类器在线识别盲道区域的步骤包括：步骤一：对包含盲道的鸟瞰图进行标记，作为正样本，不含盲道的整幅图片作为负样本。步骤二：利用LBP算子对采集的正负样本逐个提取特征向量，用此向量来描述样本的纹理特征。步骤三：将上一步提取到的正负样本的特征向量作为训练数据，设置相应的分类器训练参数，训练盲道识别分类器。步骤四：对一幅新的图像，采用滑动窗口遍历整幅图像，并...

【专利技术属性】
技术研发人员：魏彤，周银鹤，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11